Настройки аккаунта в dbt Cloud

Следующие разделы описывают различные Настройки аккаунта, доступные из вашего аккаунта dbt Cloud в боковой панели (под вашим именем аккаунта в нижней левой части).

Пример настроек аккаунта из боковой панели

Кэширование Git-репозитория enterprise

В начале каждого запуска задания dbt Cloud клонирует Git-репозиторий проекта, чтобы получить последние версии кода вашего проекта, и выполняет dbt deps для установки зависимостей.

Для повышения надежности и производительности выполнения заданий вы можете включить в dbt Cloud возможность сохранять кэш Git-репозитория проекта. Таким образом, если произойдет сбой стороннего сервиса, который приведет к неудаче операции клонирования, dbt Cloud вместо этого использует кэшированную копию репозитория, чтобы ваши задания могли продолжать выполняться по расписанию.

dbt Cloud кэширует Git-репозиторий вашего проекта после каждого успешного запуска и сохраняет его в течение 8 дней, если обновлений репозитория нет. Он кэширует все пакеты независимо от метода установки и не извлекает код вне выполнения заданий.

dbt Cloud будет использовать кэшированную копию Git-репозитория вашего проекта в следующих случаях:

• Сбои сторонних сервисов (например, dbt package hub).
• Ошибки аутентификации Git.
• Синтаксические ошибки в файле packages.yml. Вы можете настроить и использовать непрерывную интеграцию (CI), чтобы обнаружить эти ошибки раньше.
• Если пакет не работает с текущей версией dbt. Вы можете настроить и использовать непрерывную интеграцию (CI), чтобы выявить эту проблему раньше.

Чтобы использовать, выберите опцию Enable repository caching в настройках вашего аккаунта.

Пример опции Enable repository caching

Частичный парсинг

В начале каждого вызова dbt читает все файлы в вашем проекте, извлекает информацию и создает внутренний манифест, содержащий каждый объект (модель, источник, макрос и так далее). Среди прочего, он использует вызовы макросов ref(), source() и config() внутри моделей для установки свойств, определения зависимостей и построения DAG вашего проекта. Когда dbt завершает парсинг вашего проекта, он сохраняет внутренний манифест в файле под названием partial_parse.msgpack.

Парсинг проектов может занимать много времени, особенно для больших проектов с сотнями моделей и тысячами файлов. Чтобы сократить время, необходимое dbt для парсинга вашего проекта, используйте функцию частичного парсинга в dbt Cloud для вашей среды. Когда она включена, dbt Cloud использует файл partial_parse.msgpack, чтобы определить, какие файлы изменились (если таковые имеются) с момента последнего парсинга проекта, и затем парсит только измененные файлы и файлы, связанные с этими изменениями.

Частичный парсинг в dbt Cloud требует версии dbt 1.4 или новее. У этой функции есть некоторые известные ограничения. Обратитесь к Известные ограничения, чтобы узнать больше о них.

Чтобы использовать, выберите опцию Enable partial parsing between deployment runs в настройках вашего аккаунта.

Пример опции Enable partial parsing between deployment runs

Доступ аккаунта к расширенным функциям CI enterprise

Расширенные функции CI, такие как сравнение изменений, позволяют участникам аккаунта dbt Cloud просматривать детали изменений между тем, что находится в производственной среде, и запросом на слияние.

Чтобы использовать расширенные функции CI, ваш аккаунт dbt Cloud должен иметь к ним доступ. Попросите администратора dbt Cloud включить расширенные функции CI в вашем аккаунте, что они могут сделать, выбрав опцию Enable account access to Advanced CI в настройках аккаунта.

После включения опция dbt compare становится доступной в настройках CI задания для выбора.

Пример опции Enable account access to Advanced CI