Настройки аккаунта в dbt
В следующих разделах описаны различные настройки аккаунта, доступные в вашем аккаунте dbt в боковой панели (под именем вашего аккаунта в нижней левой части интерфейса).
Пример настроек аккаунта из боковой панелиКэширование Git-репозитория EnterpriseEnterprise +
Кэширование Git‑репозитория включено по умолчанию для всех новых аккаунтов Enterprise и Enterprise+, что повышает надежность за счет возможности dbt использовать кэшированную копию репозитория, если операция клонирования завершилась неудачей.
Подробнее о кэшировании репозитория, сроках хранения и других деталях см. в следующем разделе.
В начале каждого запуска job dbt клонирует Git‑репозиторий проекта, чтобы получить самые актуальные версии кода проекта, а затем выполняет dbt deps для установки зависимостей.
Для повышения надежности и производительности запусков вы можете включить сохранение кэша dbt для Git‑репозитория проекта. В этом случае, если из‑за сбоя у стороннего сервиса операция клонирования не удастся, dbt вместо этого использует кэшированную копию репозитория, и ваши задания продолжат выполняться по расписанию.
dbt сохраняет кэш Git‑репозитория проекта после каждого успешного запуска и хранит его в течение 8 дней при отсутствии обновлений репозитория. Кэшируются все пакеты независимо от способа их установки, и код не загружается вне запусков заданий.
dbt использует кэшированную копию Git‑репозитория проекта в следующих случаях:
- Сбои у сторонних сервисов (например, dbt package hub).
- Сбой аутентификации Git.
- Наличие синтаксических ошибок в файле
packages.yml. Вы можете настроить и использовать continuous integration (CI), чтобы выявлять такие ошибки раньше. - Если пакет несовместим с текущей версией dbt. Вы можете настроить и использовать continuous integration (CI), чтобы обнаруживать эту проблему раньше.
- Обратите внимание: кэширование Git‑репозитория не следует использовать для CI‑заданий. CI‑задания предназначены для тестирования последних изменений кода в pull request и проверки актуальности кода. Использование кэшированной копии репозитория в CI‑заданиях может привести к тестированию устаревшего кода.
Чтобы использовать, выберите опцию Enable repository caching в настройках вашего аккаунта.
Пример опции Enable repository cachingЧастичный парсинг
В начале каждого вызова dbt читает все файлы в вашем проекте, извлекает информацию и создает внутренний манифест, содержащий каждый объект (модель, источник, макрос и так далее). Среди прочего, он использует вызовы макросов ref(), source() и config() внутри моделей для установки свойств, определения зависимостей и построения DAG вашего проекта. Когда dbt завершает парсинг вашего проекта, он сохраняет внутренний манифест в файле под названием partial_parse.msgpack.
Парсинг проектов может занимать значительное время, особенно для крупных проектов с сотнями моделей и тысячами файлов. Чтобы сократить время, которое dbt тратит на парсинг вашего проекта, используйте функцию частичного парсинга в dbt для вашего окружения. Когда она включена, dbt использует файл partial_parse.msgpack, чтобы определить, какие файлы изменились (если изменились) с момента последнего парсинга проекта, и затем парсит только изменённые файлы и файлы, связанные с этими изменениями.
Частичный парсинг в dbt требует dbt версии 1.4 или новее. У этой функции есть некоторые известные ограничения. Подробнее о них см. в разделе Known limitations.
Чтобы использовать, выберите опцию Enable partial parsing between deployment runs в настройках вашего аккаунта.
Пример опции Enable partial parsing between deployment runsДоступ к аккаунту и включение функций
Включение dbt Copilot StarterEnterpriseEnterprise +
Copilot — это AI‑ассистент, полностью интегрированный в работу с dbt и предназначенный для ускорения аналитических рабочих процессов.
Чтобы использовать эту функцию, администратор вашего аккаунта dbt должен включить Copilot на уровне аккаунта, выбрав опцию Enable account access to dbt Copilot features в настройках аккаунта. Подробнее см. в разделе Enable dbt Copilot.
Включение функций Advanced CI EnterpriseEnterprise +
Функции Advanced CI, такие как compare changes, позволяют участникам аккаунта dbt просматривать подробную информацию об изменениях между продакшн‑окружением и pull request.
Чтобы использовать функции Advanced CI, ваш аккаунт dbt должен иметь к ним доступ. Попросите администратора вашего аккаунта dbt включить функции Advanced CI — это можно сделать, выбрав опцию Enable account access to Advanced CI в настройках аккаунта.
После включения опция dbt compare становится доступной в настройках CI задания для выбора.
Опция Enable account access to Advanced CIВключение dbt Catalog StarterEnterpriseEnterprise + Preview
Catalog позволяет просматривать ресурсы вашего проекта (например, модели, тесты и метрики), их lineage, а также использование моделей, чтобы лучше понимать текущее состояние продакшена вашего проекта.
Чтобы включить dbt Catalog, требуется лицензия разработчика с правами Owner. Включите Catalog в своей учетной записи, выбрав опцию Enable dbt Catalog’s (formerly dbt Explorer) New Navigation в настройках аккаунта. Подробнее см. обзор Catalog.
Вы можете загружать внешние метаданные в Catalog, подключаясь напрямую к вашему хранилищу данных. Это позволяет просматривать таблицы и другие активы, которые не определены в dbt. В настоящее время загрузка внешних метаданных поддерживается только для Snowflake.
Для использования загрузки внешних метаданных вы должны быть администратором аккаунта с правами на редактирование подключений. Включите Catalog в своей учетной записи, выбрав опцию Ingest external metadata in dbt Catalog (formerly dbt Explorer) в настройках аккаунта. Подробнее см. Enable external metadata ingestion.
История настроек проекта
Вы можете просматривать историю изменений настроек проекта за последние 90 дней.
Чтобы посмотреть историю изменений:
- Нажмите на имя своей учетной записи внизу левого меню и выберите Account settings.
- Нажмите Projects.
- Выберите project name.
- Нажмите History.
Пример опции project history.