# Непрерывная интеграция в dbt

Платформа dbt

Чтобы реализовать рабочий процесс непрерывной интеграции (CI) в dbt, можно настроить автоматическую проверку изменений кода с помощью [заданий CI](https://docs.getdbt.tech/docs/deploy/ci-jobs.md) перед слиянием изменений для развертывания в производственной среде. dbt отслеживает состояние объектов, работающих в вашей производственной среде. При запуске задания CI в промежуточной схеме создаются и тестируются только те объекты данных, которые были изменены в вашем pull request (PR), а также зависящие от них объекты.

Статус проверок CI виден прямо в PR. После завершения задания CI dbt отправляет результаты провайдеру Git. У провайдера можно настроить правила, разрешающие слияние только после успешного прохождения проверок CI.

О том, как развернуть изменения после слияния PR, см. [Непрерывное развёртывание в dbt](https://docs.getdbt.tech/docs/deploy/continuous-deployment.md). Можно использовать [задания слияния](https://docs.getdbt.tech/docs/deploy/merge-jobs.md) или запускать задания другими способами, в том числе вручную и через API.

[![Схема непрерывной интеграции в dbt](/img/docs/dbt-platform/using-dbt-platform/ci-workflow.png?v=2 "Схема непрерывной интеграции в dbt")](#)Схема непрерывной интеграции в dbt

Использование CI помогает:

* Обеспечить повышенную уверенность и гарантии, что изменения в проекте будут работать в производственной среде, как ожидалось.
* Сократить время, необходимое для внедрения изменений в код в производственную среду, благодаря автоматизации сборки и тестирования, что приводит к лучшим бизнес-результатам.
* Позволить организациям вносить изменения в код стандартизированным и управляемым образом, который обеспечивает качество кода без ущерба для скорости.

## Как работает CI

Когда вы [настраиваете задания CI](https://docs.getdbt.tech/docs/deploy/ci-jobs.md#set-up-ci-jobs), dbt ожидает уведомления от вашего провайдера Git об открытии нового PR или добавлении новых коммитов в существующий PR. Получив такое уведомление, dbt ставит в очередь новый запуск задания CI.

dbt собирает и тестирует модели, семантические модели, метрики и сохранённые запросы, затронутые изменением кода, во временной схеме, уникальной для каждого PR. Этот процесс позволяет убедиться, что код собирается без ошибок и соответствует ожиданиям, заданным тестами dbt в проекте. Уникальное имя схемы формируется по шаблону `dbt_cloud_pr_<job_id>_<pr_id>` (например, `dbt_cloud_pr_1862_1704`), и его можно найти в сведениях о соответствующем запуске, как показано на следующем изображении:

[![Просмотр имени временной схемы для запуска, инициированного PR](/img/docs/dbt-platform/using-dbt-platform/using_ci_dbt_cloud.png?v=2 "Просмотр имени временной схемы для запуска, инициированного PR")](#)Просмотр имени временной схемы для запуска, инициированного PR

После завершения запуска CI его статус можно просмотреть непосредственно в пул-реквесте. dbt обновляет пул-реквест в GitHub, GitLab или Azure DevOps, добавляя сообщение о статусе с результатами запуска. В этом сообщении указывается, успешно ли выполнены модели и тесты.

dbt удаляет временную схему из вашего хранилища данных (data warehouse), когда вы закрываете или сливаете пул-реквест. Если в вашем проекте настроены пользовательские имена схем с помощью макроса [generate\_schema\_name](https://docs.getdbt.tech/docs/build/custom-schemas.md#how-does-dbt-generate-a-models-schema-name), dbt может не удалить временную схему из вашего хранилища данных. Дополнительные сведения см. в разделе [Устранение неполадок](https://docs.getdbt.tech/docs/deploy/ci-jobs.md#troubleshooting).

## Доступность функций в зависимости от Git‑провайдера

* Если ваш Git-провайдер поддерживает [встроенную интеграцию с dbt](https://docs.getdbt.tech/docs/platform/git/configure-git.md), вы можете легко настроить задания [непрерывной интеграции (CI)](https://docs.getdbt.tech/docs/deploy/ci-jobs.md) непосредственно в dbt.

* Для провайдеров без встроенной интеграции вы по-прежнему можете использовать [метод Git clone](https://docs.getdbt.tech/docs/platform/git/import-a-project-by-git-url.md), чтобы импортировать проект по URL Git-репозитория, и [административный API dbt](https://docs.getdbt.tech/docs/dbt-apis/admin-api.md), чтобы запускать задание CI.

В следующей таблице представлены доступные варианты интеграции и соответствующие им возможности.

| **Git-провайдер**                                                                                                                                                                                                                                                                                                                                                      | **Встроенная интеграция с dbt** | **Автоматизированное задание CI** | **Git clone** | **Информация**                                                                                                                                                                                                                         | **Поддерживаемые тарифные планы** |
| ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------- | --------------------------------- | ------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- |
| [Azure DevOps](https://docs.getdbt.tech/docs/platform/git/connect-azure-devops.md)<br />                                                                                                                                                                                                                                                                              | ✅                              | ✅                                | ✅            | Организации на тарифных планах Starter и Developer могут подключаться к Azure DevOps с помощью ключа развертывания. Обратите внимание: вы не сможете настроить автоматизированные задания CI, но по-прежнему сможете вести разработку. | Enterprise, Enterprise+           |
| [GitHub](https://docs.getdbt.tech/docs/platform/git/connect-github.md)<br />                                                                                                                                                                                                                                                                                          | ✅                              | ✅                                | ✅            |                                                                                                                                                                                                                                        | Все тарифные планы dbt            |
| [GitLab](https://docs.getdbt.tech/docs/platform/git/connect-gitlab.md)<br />                                                                                                                                                                                                                                                                                          | ✅                              | ✅                                | ✅            |                                                                                                                                                                                                                                        | Все тарифные планы dbt            |
| Все остальные Git-провайдеры, подключаемые с помощью [Git clone](https://docs.getdbt.tech/docs/platform/git/import-a-project-by-git-url.md) ([BitBucket](https://docs.getdbt.tech/docs/platform/git/import-a-project-by-git-url.md#bitbucket), [AWS CodeCommit](https://docs.getdbt.tech/docs/platform/git/import-a-project-by-git-url.md#aws-codecommit) и другие) | ❌                              | ❌                                | ✅            | Чтобы настроить непрерывную интеграцию и непрерывное развертывание (CI/CD), обратитесь к руководству [Настройка CI/CD с использованием собственных конвейеров](https://docs.getdbt.tech/guides/custom-cicd-pipelines.md?step=1).      |                                   |

## Различия между CI задачами и другими задачами развертывания

[Планировщик dbt](https://docs.getdbt.tech/docs/deploy/job-scheduler.md) выполняет задания CI иначе, чем другие задания развертывания. Вот основные отличия:

* [**Параллельные проверки CI**](#concurrent-ci-checks) — Планировщик может при необходимости выполнять несколько запусков одного и того же задания CI в dbt одновременно (параллельно).
* [**Интеллектуальная отмена устаревших сборок**](#smart-cancellation-of-stale-builds) — Планировщик отменяет устаревшие выполняющиеся запуски CI, когда вы отправляете новые коммиты в PR.
* [**Использование слотов запуска**](#run-slot-treatment) — Запуски CI не занимают слот запуска.
* [**Линтинг SQL**](#sql-linting) — Если линтинг включен, он выполняется для всех SQL-файлов в вашем проекте отдельным шагом перед сборкой в рамках задания CI.

### Параллельные CI‑проверки [Starter](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")

Когда вы вместе с командой работаете над проектом dbt и открываете пул-реквесты в одном репозитории dbt, одно и то же задание CI может запускаться при каждом событии, соответствующем условиям запуска.

Каждый запуск CI записывает данные в отдельную временную схему, связанную с его пул-реквестом. Такая изоляция позволяет dbt выполнять запуски CI *параллельно*, а не *последовательно*. Этим они отличаются от заданий развертывания dbt.

Вам не нужно ждать завершения чужого запуска CI, чтобы началась ваша проверка. Параллельные проверки CI помогают всей команде быстрее тестировать и интегрировать код dbt.

Ниже описаны условия, при которых проверки CI выполняются параллельно, и условия, при которых этого не происходит:

* Запуски CI с разными номерами PR выполняются параллельно.
* Запуски CI с *одинаковым* номером PR и *разными* SHA коммитов выполняются последовательно, поскольку они создают объекты в одной и той же схеме. dbt выполнит запуск для последнего коммита и отменит запуски для всех более ранних, устаревших коммитов. Подробнее см. в разделе [Интеллектуальная отмена устаревших сборок](#smart-cancellation-of-stale-builds).
* Запуски CI с одинаковым номером PR и одинаковым SHA коммита по-прежнему могут выполняться параллельно, если они запускаются из разных проектов dbt. Это возможно, когда два задания CI настроены в разных проектах dbt, использующих один и тот же репозиторий dbt.

### Умная отмена устаревших сборок [Starter](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")

Когда вы отправляете новый коммит в PR, dbt ставит в очередь новый запуск CI для последнего коммита и отменяет все ещё выполняющиеся запуски CI, которые к этому моменту устарели. Это может произойти, если вы отправляете новые коммиты, пока сборка CI ещё выполняется и не завершена. Безопасно и целенаправленно отменяя такие запуски, dbt помогает повысить продуктивность и сократить расходы на ненужные запуски CI в платформе данных.

[![Пример автоматически отменённого запуска](/img/docs/dbt-platform/using-dbt-platform/example-smart-cancel-job.png?v=2 "Пример автоматически отменённого запуска")](#)Пример автоматически отменённого запуска

### Обработка run slot [Starter](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")

CI запуски не занимают слоты запуска. Это гарантирует, что проверка CI никогда не заблокирует производственный запуск.

### SQL‑линтинг [Starter](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")

Доступно в [каналах выпусков dbt](https://docs.getdbt.tech/docs/dbt-versions/dbt-release-tracks.md) и для учетных записей dbt на тарифах Starter или Enterprise.

Если [линтинг включен для вашего задания CI](https://docs.getdbt.tech/docs/deploy/ci-jobs.md#set-up-ci-jobs), dbt проверяет измененные SQL-файлы в вашем проекте. При запусках v1 dbt вызывает [SQLFluff](https://sqlfluff.com/) — модульный настраиваемый SQL-линтер. При запусках v2 dbt вместо этого использует встроенную команду `dbt lint` (см. ниже). Линтинг предупреждает о сложных функциях, ошибках синтаксиса, форматирования и компиляции.

Линтинг в dbt v2

Задания CI, выполняемые на v2, автоматически используют встроенную команду [`dbt lint`](https://docs.getdbt.tech/reference/commands/lint.md?version=2.0) вместо SQLFluff. `dbt lint` совместима с SQLFluff: она читает существующий файл конфигурации `.sqlfluff`, использует те же коды правил и учитывает комментарии `-- noqa` для подавления предупреждений.

Сведения об ожидаемом соответствии правил `dbt lint` и SQLFluff см. в разделе [Соответствие правил SQLFluff](https://docs.getdbt.tech/reference/commands/lint.md?version=2.0#rule-parity-with-sqlfluff).

По умолчанию SQL-линтинг проверяет все SQL-файлы в вашем проекте, измененные по сравнению с последним состоянием производственной среды, используемым для defer.

Если dbt не может найти коммит для этого состояния defer, запуск не завершается с ошибкой из-за линтинга. dbt выводит предупреждение с SHA коммита, который не удалось найти, и вместо этого проверяет весь проект. Чтобы обновить базовое состояние для сравнения, повторно запустите задание, на которое ссылается defer.

Обратите внимание, что [снимки (snapshots)](https://docs.getdbt.tech/docs/build/snapshots.md) можно определять в YAML-файлах *и* в файлах `.sql`. Их SQL-код не поддерживает проверку линтером и может вызывать ошибки при линтинге.

Чтобы SQLFluff не проверял файлы снимков, добавьте каталог снимков в файл `.sqlfluffignore` (например, `snapshots/`). Дополнительные сведения см. в разделе [Линтинг снимков](https://docs.getdbt.tech/docs/platform/studio-ide/lint-format.md#snapshot-linting).

Если линтер обнаруживает ошибки, вы можете указать, должен ли dbt остановить выполнение задачи при ошибке или продолжить выполнение при ошибке. При отказе от задач это помогает снизить затраты на вычисления, избегая сборок для pull requests, которые не соответствуют вашему CI проверке качества SQL кода.

#### Настройка линтинга SQLFluff

При необходимости вы можете настроить правила линтинга SQLFluff, чтобы переопределить поведение линтинга по умолчанию.

* Используйте [файлы конфигурации SQLFluff](https://docs.sqlfluff.com/en/stable/configuration/setting_configuration.html#configuration-files), чтобы переопределить поведение линтинга по умолчанию в dbt.

* Создайте в проекте файл конфигурации `.sqlfluff`, добавьте в него правила линтинга, и dbt будет использовать их при проверке.

  * При настройке можно использовать `dbt` в качестве шаблонизатора (например, `templater = dbt`)
  * Если вы используете Studio IDE, dbt CLI или любой другой редактор, обратитесь к разделу [Настройка линтинга](https://docs.getdbt.tech/docs/platform/studio-ide/lint-format.md#customize-linting), чтобы узнать, как добавить специфичные для dbt (или dbtonic) правила линтинга, которые мы используем в собственном проекте.

* Подробную информацию см. в разделе [Нестандартное использование](https://docs.sqlfluff.com/en/stable/gettingstarted.html#custom-usage) документации SQLFluff.
