Перейти к основному содержимому

Я получаю ошибку 'Этот запуск превысил лимиты памяти вашего аккаунта' в моей неудавшейся задаче

Если при неудачном выполнении задания вы получаете ошибку This run exceeded your account's run memory limits, это означает, что задание превысило ограничения памяти, установленные для вашей учетной записи. Для всех учетных записей dbt объем памяти пода составляет 600 МиБ, а ограничения памяти применяются к каждому запуску отдельно. На потребление памяти обычно влияет объем результирующих данных, которые dbt должен загрузить и обработать. Как правило, этот объем невелик, но он может неожиданно вырасти из-за решений, принятых при проектировании проекта.

Общие причины​

Некоторые общие причины повышенного использования памяти:

  • dbt run/build: Макросы, которые захватывают большие наборы результатов из выполняемого запроса, могут быть не все необходимы и могут быть неэффективны по памяти.
  • dbt docs generate: Источники или схемы моделей с большим количеством таблиц (даже если эти таблицы не все используются dbt) вызывают загрузку очень больших результатов для запросов каталога.

Решение​

Существует множество причин, по которым вы можете сталкиваться с этой ошибкой, но в основном они связаны с извлечением слишком большого объема данных в dbt. Например, использование операций run_query() или подобных макросов, или даже использование баз данных/схем, которые содержат много других таблиц/представлений, не связанных с dbt. Попробуйте уменьшить объем данных/количество строк, извлекаемых в dbt, переработав SQL в вашей операции run_query() с использованием клауз group, where или limit. Кроме того, вы можете использовать базу данных/схему с меньшим количеством таблиц/представлений, не связанных с dbt.

Видео пример

В качестве дополнительного ресурса, посмотрите это видео, которое демонстрирует, как переработать пример кода, уменьшая количество возвращаемых строк.

Если вы попробовали предыдущие предложения и все еще сталкиваетесь с неудачными запусками задач с этой ошибкой о превышении лимитов памяти вашего аккаунта, пожалуйста, обратитесь в поддержку. Мы будем рады помочь!

Дополнительные материалы​

Нашли ошибку?

0
Loading