Я получаю ошибку 'Этот запуск превысил лимиты памяти вашего аккаунта' в моей неудавшейся задаче
Если в завершившемся с ошибкой задании вы видите сообщение This run exceeded your account's run memory limits, это означает, что задание превысило лимиты памяти, установленные для вашей учётной записи. Все учётные записи dbt имеют лимит памяти пода в 600 MiB, и эти лимиты применяются отдельно к каждому запуску. Обычно на потребление памяти влияет объём результирующих данных, которые dbt должен загрузить и обработать: как правило, он невелик, но из‑за проектных решений в проекте может неожиданно разрастаться.
Общие причины
Некоторые общие причины повышенного использования памяти:
- dbt run/build: Макросы, которые захватывают большие наборы результатов из выполняемого запроса, могут быть не все необходимы и могут быть неэффективны по памяти.
- dbt docs generate: Источники или схемы моделей с большим количеством таблиц (даже если эти таблицы не все используются dbt) вызывают загрузку очень больших результатов для запросов каталога.
Решение
Существует множество причин, по которым вы можете сталкиваться с этой ошибкой, но в основном они связаны с извлечением слишком большого объема данных в dbt. Например, использование операций run_query() или подобных макросов, или даже использование баз данных/схем, которые содержат много других таблиц/представлений, не связанных с dbt. Попробуйте уменьшить объем данных/количество строк, извлекаемых в dbt, переработав SQL в вашей операции run_query() с использованием клауз group, where или limit. Кроме того, вы можете использовать базу данных/схему с меньшим количеством таблиц/представлений, не связанных с dbt.
В качестве дополнительного ресурса, посмотрите это видео, которое демонстрирует, как переработать пример кода, уменьшая количество возвращаемых строк.
Если вы попробовали предыдущие предложения и все еще сталкиваетесь с неудачными запусками задач с этой ошибкой о превышении лимитов памяти вашего аккаунта, пожалуйста, обратитесь в поддержку. Мы будем рады помочь!
