Подключение через Git clone

В dbt вы можете импортировать git‑репозиторий по любому корректному git URL, который указывает на dbt‑проект. При этом есть несколько важных моментов, которые нужно учитывать.

Протоколы Git

Вы должны использовать версию git URL в формате git@... или ssh://..., а не https://.... dbt использует SSH‑протокол для клонирования репозиториев, поэтому dbt не сможет клонировать репозитории, указанные с использованием HTTP‑протокола.

Преобразование SSH URL в корректный формат

Когда вы копируете SSH URL из вашего git‑провайдера (обычно он находится в Code → Clone → SSH), он может быть в формате SCP, где для разделения хоста и пути используется двоеточие (:). Для dbt такой URL необходимо преобразовать в стандартный формат SSH.

Если ваш SSH URL выглядит так (SCP‑стиль с двоеточием):

git@github.com:organization/repo-name.git
user@custom-host.example.com:organization/repo-name.git

Преобразуйте его в стандартный SSH URL (используется ssh:// и /):

ssh://git@github.com/organization/repo-name.git
ssh://user@custom-host.example.com/organization/repo-name.git

Доступность функций в зависимости от Git‑провайдера

• Если ваш git‑провайдер имеет нативную интеграцию с dbt, вы можете без лишних усилий настраивать задания continuous integration (CI) прямо в dbt.

• Для провайдеров без нативной интеграции вы всё равно можете использовать метод Git clone, чтобы импортировать git URL, и задействовать Administrative API dbt для запуска CI‑заданий.

В следующей таблице приведены доступные варианты интеграции и соответствующие им возможности.

Git‑провайдер	Нативная интеграция с dbt	Автоматизированное CI‑задание	Git clone	Информация	Поддерживаемые планы
Azure DevOps	✅	✅	✅	Организации на планах Starter и Developer могут подключаться к Azure DevOps с использованием deploy key. Обратите внимание: вы не сможете настраивать автоматизированные CI‑задания, но при этом сможете вести разработку.	Enterprise, Enterprise+
GitHub	✅	✅			Все планы dbt
GitLab	✅	✅	✅		Все планы dbt
Все остальные git‑провайдеры при использовании Git clone (BitBucket, AWS CodeCommit и другие)	❌	❌	✅	См. руководство Customizing CI/CD with custom pipelines для настройки continuous integration и continuous deployment (CI/CD).

Loading table...

Управление deploy keys

После импорта проекта по Git URL dbt сгенерирует Deploy Key для вашего репозитория. Чтобы найти этот Deploy Key в dbt:

1. В dbt нажмите на имя своей учетной записи в левом боковом меню и выберите Account settings.
2. Перейдите в раздел Projects и выберите нужный проект.
3. Нажмите на ссылку Repository, чтобы открыть страницу с деталями репозитория.
4. Скопируйте ключ в разделе Deploy Key.

Этот Deploy Key необходимо добавить в настройках репозитория у вашего Git‑провайдера. Настройте его так, чтобы он имел доступ на чтение и запись к соответствующим репозиториям.

На заметку: Каждый проект в dbt будет генерировать свой собственный deploy key при подключении к репозиторию, даже если два проекта подключены к одному и тому же репозиторию. Вам потребуется добавить оба deploy key у вашего Git‑провайдера.

GitHub

Используете GitHub?

Если вы используете GitHub, вы можете импортировать свой репозиторий напрямую с помощью GitHub Application от dbt. Подключение репозитория через GitHub Application включает Continuous Integration.

Найдите ваш SSH URL

1. Перейдите в свой репозиторий на GitHub.
2. Нажмите кнопку Code.
3. Выберите вкладку SSH, чтобы увидеть SSH URL для клонирования.
4. Скопируйте URL и при необходимости преобразуйте его в корректный формат.

Добавьте deploy key

Чтобы добавить deploy key в GitHub, перейдите на вкладку Deploy keys на странице настроек вашего репозитория GitHub.

• Укажите имя для deploy key и вставьте сам deploy key (сгенерированный dbt), затем обязательно установите флажок Allow write access.
• После добавления этого ключа dbt сможет читать и записывать файлы в вашем dbt-проекте.
• Подробнее см. в документации GitHub: Adding a deploy key in GitHub

Настройка ключа развертывания GitHub

GitLab

Используете GitLab?

Если вы используете GitLab, вы можете импортировать свой репозиторий напрямую с помощью GitLab Application от dbt. Подключение репозитория через GitLab Application включает Continuous Integration.

• Чтобы добавить deploy key в аккаунт GitLab, перейдите на вкладку SSH keys на странице User Settings вашего аккаунта GitLab.
• Затем вставьте deploy key, сгенерированный dbt для вашего репозитория.
• После сохранения этого SSH-ключа dbt сможет читать и записывать файлы в вашем GitLab-репозитории.
• См. также: Adding a read only deploy key in GitLab

Настройка SSH-ключа GitLab

BitBucket

Используйте deploy key, чтобы импортировать ваш репозиторий BitBucket в dbt. Чтобы сохранить безопасность учетной записи, используйте сервисную учетную запись для добавления deploy key BitBucket и поддержания соединения между вашим репозиторием BitBucket и dbt.

BitBucket связывает каждый коммит в репозитории и другие действия Git (например, открытие pull request) с адресом электронной почты, связанным с учетной записью пользователя Bitbucket.

Чтобы добавить ключ развертывания в учетную запись BitBucket:

• Перейдите на вкладку SSH keys на странице Personal Settings вашего аккаунта BitBucket.
• Затем нажмите кнопку Add key и вставьте deploy key, сгенерированный dbt для вашего репозитория.
• После сохранения этого SSH-ключа dbt сможет читать и записывать файлы в вашем репозитории BitBucket.

Настройка SSH-ключа BitBucket

AWS CodeCommit

dbt может работать с dbt‑проектами, размещёнными в AWS CodeCommit, однако по сравнению с GitHub или другими git‑провайдерами требуется выполнить несколько дополнительных шагов. В этом руководстве описано, как подключить dbt‑проект, размещённый в CodeCommit, к dbt.

AWS прекращает поддержку git‑хостинга CodeCommit

AWS CodeCommit больше недоступен для новых клиентов, а существующие клиенты получают только обновления безопасности и производительности. Подробнее см. в статье о миграции на другого git‑провайдера.

Шаг 1: Создайте пользователя AWS для dbt

• Чтобы предоставить dbt доступ к вашему репозиторию, сначала необходимо создать пользователя AWS IAM для dbt.
• Войдите в AWS Console и перейдите в раздел IAM.
• Нажмите Add User и создайте нового пользователя, указав уникальное и понятное имя.
• Пользователю потребуется доступ на клонирование репозитория. Это можно обеспечить, добавив разрешение AWSCodeCommitPowerUser во время настройки.

Шаг 2: Импортируйте репозиторий по имени

• Откройте консоль AWS CodeCommit и выберите ваш репозиторий.
• Скопируйте SSH URL на этой странице.
• Затем перейдите на страницу New Repository в dbt.
• Выберите вкладку Git Clone и вставьте SSH URL, скопированный из консоли.
• На странице с деталями только что созданного репозитория вы увидите поле Deploy Key.
• Скопируйте содержимое этого поля — оно понадобится вам на Шаге 3.

Примечание: публичный ключ, сгенерированный dbt, — единственный ключ, который будет работать на следующем шаге. Любой другой ключ, созданный вне dbt, работать не будет.

Шаг 3: Предоставьте пользователю AWS для dbt доступ

• Откройте только что созданного пользователя dbt в консоли AWS IAM.
• Перейдите на вкладку Security Credentials и нажмите Upload SSH public key.
• Вставьте содержимое поля Public Key со страницы репозитория в dbt.
• После создания ключа вы увидите для него значение SSH key ID.
• Свяжитесь со службой поддержки dbt и передайте им это значение, чтобы команда поддержки dbt могла завершить процесс настройки.

Шаг 4: Укажите пользовательскую ветку в dbt

CodeCommit использует master в качестве ветки по умолчанию. Для инициализации проекта вам необходимо указать ветку master как custom branch в dbt.

• Перейдите в Deploy -> Environments -> Development.
• Выберите Settings -> Edit и в разделе General Settings установите флажок Default to a custom branch.
• Укажите пользовательскую ветку как master и нажмите Save.

Шаг 5: Настройте URL-адреса шаблона pull request (необязательно)

Чтобы предотвратить прямое слияние изменений кода в ветку по умолчанию, настройте PR Template URL на странице Repository details вашего проекта. После настройки dbt будет предлагать пользователям открыть новый PR после коммита и синхронизации изменений кода в ветке в Studio IDE, прежде чем сливать какие‑либо изменения в ветку по умолчанию.

• Перейдите в Account Settings -> Projects -> выберите проект.
• Нажмите на ссылку репозитория в разделе Repository.
• На странице Repository details нажмите Edit в правом нижнем углу.
  Настройка шаблона PR на странице «Repository details».
• В поле Pull request URL укажите URL на основе рекомендуемого формата PR template.
• Замените <repo> на имя вашего репозитория (обратите внимание, что регистр символов имеет значение). В следующем примере имя репозитория — New_Repo.
  В примере поля Pull request URL имя репозитория — «New_Repo».
• После заполнения поля Pull request URL нажмите Save.

🎉 Готово! После того как служба поддержки dbt обработает ваш запрос и вы настроите пользовательскую ветку, ваш проект будет готов к выполнению dbt‑запусков в dbt.

Azure DevOps

Используете Azure DevOps?

Если вы используете Azure DevOps и у вас тариф dbt Enterprise или Enterprise+, вы можете импортировать ваш репозиторий напрямую с помощью интеграции dbt с Azure DevOps. Подключение репозитория через приложение Azure DevOps включает Continuous Integration.

1. Чтобы добавить ключ развертывания в учетную запись Azure DevOps, перейдите на страницу SSH public keys в настройках пользователя вашей учетной записи Azure DevOps или учетной записи служебного пользователя.

2. Мы рекомендуем использовать выделенную сервисную учётную запись для интеграции, чтобы подключение dbt к Azure DevOps не прерывалось из‑за изменений прав доступа у пользователей.

Перейдите на страницу настроек 'SSH public keys'

3. Затем нажмите кнопку + New Key, чтобы создать новый SSH-ключ для репозитория.

Нажмите кнопку '+ New Key', чтобы создать новый SSH-ключ для репозитория.

4. Выберите понятное и описательное имя для ключа, затем вставьте deploy key, сгенерированный dbt для вашего репозитория.

5. После сохранения этого SSH-ключа dbt сможет читать и записывать файлы в ваш репозиторий Azure DevOps.

Введите и сохраните публичный ключ, сгенерированный dbt для вашего репозитория

Другие git-провайдеры

Не видите здесь своего git‑провайдера? Пожалуйста, свяжитесь со службой поддержки dbt — мы с радостью поможем вам настроить dbt с любым поддерживаемым git‑провайдером.

Ограниченная интеграция

Некоторые возможности dbt требуют тесной интеграции с вашим git‑хостингом, например обновление pull request’ов в GitHub статусами запусков dbt. Импорт проекта по URL не позволяет использовать эти функции. После того как вы предоставите dbt доступ к вашему репозиторию, вы сможете продолжить настройку проекта, добавив подключение, а затем создав и запустив свою первую задачу dbt.

Часто задаваемые вопросы

Как исправить мой файл .gitignore?

Файл .gitignore определяет, какие файлы git должен намеренно игнорировать или не отслеживать. dbt помечает неотслеживаемые файлы в панели проводника проекта, отображая имя файла или папки курсивом.

Если вы сталкиваетесь с такими проблемами, как невозможность откатить изменения, переключиться на существующую или создать новую ветку, либо если после коммита в Studio IDE вас не приглашают открыть pull request — это обычно указывает на проблему с файлом .gitignore. Файл может отсутствовать или в нём нет обязательных записей, необходимых для корректной работы dbt.

В следующих разделах описано, как исправить файл .gitignore в:

 Fix in the Studio IDE

Чтобы решить проблемы с вашим файлом gitignore, добавление правильных записей не удалит автоматически (или "не будет отслеживать") файлы или папки, которые уже отслеживаются git. Обновленный gitignore будет только предотвращать отслеживание новых файлов или папок. Поэтому вам нужно сначала исправить файл gitignore, а затем выполнить некоторые дополнительные операции git, чтобы перестать отслеживать любые неправильные файлы или папки.

1. Запустите Studio IDE в проекте, который вы исправляете, выбрав Develop в меню.
2. В File Explorer проверьте, существует ли файл .gitignore в корне папки вашего dbt‑проекта. Если его нет, создайте новый файл.
3. Откройте новый или существующий файл .gitignore и добавьте следующее:

# ✅ Правильно 
target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

• Примечание — Вы можете разместить эти строки в любом месте файла, главное, чтобы они были на отдельных строках. Показанные строки являются шаблонами, которые включат все вложенные файлы и папки. Избегайте добавления завершающего '*' к строкам, например, target/*.

Для получения дополнительной информации о синтаксисе gitignore обратитесь к документации Git.

4. Сохраните изменения, но не коммитьте.
5. Перезапустите IDE, нажав на три точки рядом с кнопкой IDE Status в нижнем правом углу экрана IDE и выберите Restart IDE.

Перезапустите IDE, нажав на три точки в правом нижнем углу, или нажмите на строку состояния

6. После перезапуска Studio IDE откройте File Catalog и удалите следующие файлы или папки (если они существуют). Данные при этом не будут потеряны:

   • target, dbt_modules, dbt_packages, logs

7. Сохраните изменения, затем выполните Commit and sync.

8. Перезапустите Studio IDE ещё раз, используя ту же процедуру, что и в шаге 5.

9. После перезапуска Studio IDE воспользуйтесь кнопкой Create a pull request (PR) в меню Version Control, чтобы начать процесс интеграции изменений.

10. Когда сайт git‑провайдера откроется на странице с новым PR, выполните необходимые шаги, чтобы завершить и смержить PR в основную ветку этого репозитория.

    • Примечание — Основная ветка может также называться 'master', 'dev', 'qa', 'prod' или как-то иначе в зависимости от организационных соглашений о наименовании. Цель состоит в том, чтобы слить эти изменения в корневую ветку, от которой создаются все другие ветки разработки.

11. Вернитесь в Studio IDE и с помощью кнопки Change Branch переключитесь на основную ветку проекта (main).

12. После смены ветки нажмите кнопку Pull from remote, чтобы подтянуть все изменения.

13. Проверьте, что изменения применились: убедитесь, что файлы и папки, указанные в файле .gitignore, отображаются курсивом.

Проект dbt на основной ветке с правильно настроенными папками gitignore (выделены курсивом).

 Исправить в Git‑провайдере

Иногда необходимо использовать веб-интерфейс git-провайдера, чтобы исправить поврежденный файл .gitignore. Хотя конкретные шаги могут различаться у разных провайдеров, общий процесс остается тем же.

Существует два варианта для этого подхода: редактирование основной ветки напрямую, если это разрешено, или создание pull request для внесения изменений, если это требуется:

Редактировать в основной ветке

Если разрешения позволяют, можно редактировать .gitignore напрямую в основной ветке вашего репозитория. Вот следующие шаги:

1. Перейдите в веб-интерфейс вашего репозитория.
2. Переключитесь на основную ветку и корневую директорию вашего проекта dbt.
3. Найдите файл .gitignore. Создайте пустой, если он не существует.
4. Отредактируйте файл в веб-интерфейсе, добавив следующие записи:

target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

5. Коммитьте (сохраните) файл.
6. Удалите следующие папки из корня проекта dbt, если они существуют. Данные или код не будут потеряны:
   • target, dbt_modules, dbt_packages, logs
7. Зафиксируйте (commit) удаления в ветке main.
8. Переключитесь в Studio IDE и откройте проект, который вы исправляете.
9. Выполните откат репозитория к удалённому состоянию в IDE, нажав на три точки рядом с кнопкой IDE Status в правом нижнем углу экрана IDE, затем выберите Rollback to remote.
   • Примечание — Rollback to remote сбрасывает ваш репозиторий к более раннему клону из удалённого репозитория. Все сохранённые, но не закоммиченные изменения будут потеряны, поэтому обязательно скопируйте любой изменённый код, который вы хотите сохранить, во временное место за пределами dbt.
10. После отката к удалённому состоянию откройте файл .gitignore в ветке, с которой вы работаете. Если новые изменения в нём отсутствуют, вам нужно будет влить (merge) последние коммиты из ветки main в вашу рабочую ветку.
11. Перейдите в File Explorer, чтобы убедиться, что файл .gitignore содержит корректные записи, и проверьте, что неотслеживаемые файлы/папки, указанные в .gitignore, отображаются курсивом.
12. Отличная работа 🎉! Вы корректно настроили .gitignore и можете продолжать разработку!

Невозможно редактировать основную ветку

Если вы не можете редактировать .gitignore напрямую в основной ветке вашего репозитория, выполните следующие шаги:

1. Перейдите в веб-интерфейс вашего репозитория.
2. Переключитесь на существующую ветку разработки или создайте новую ветку только для этих изменений (это часто быстрее и чище).
3. Найдите файл .gitignore. Создайте пустой, если он не существует.
4. Отредактируйте файл в веб-интерфейсе, добавив следующие записи:

target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

5. Коммитьте (сохраните) файл.
6. Удалите следующие папки из корня проекта dbt, если они существуют. Данные или код не будут потеряны:
   • target, dbt_modules, dbt_packages, logs
7. Зафиксируйте (сохраните) удалённые папки.
8. Откройте merge request, используя веб‑интерфейс вашего git‑провайдера. Merge request должен быть направлен на слияние изменений в ветку main, от которой создаются все ветки разработки.
9. Следуйте необходимым процедурам, чтобы ветка была одобрена и слита в main. После завершения слияния вы можете удалить ветку.
10. После завершения слияния вернитесь в Studio IDE и откройте проект, который вы исправляете.
11. Откатите репозиторий к удалённому состоянию в Studio IDE, нажав на три точки рядом с кнопкой Studio IDE Status в правом нижнем углу экрана Studio IDE, затем выберите Rollback to remote.
    • Примечание — Rollback to remote возвращает репозиторий к более раннему клону из удалённого репозитория. Все сохранённые, но не закоммиченные изменения будут потеряны, поэтому обязательно скопируйте любой изменённый код, который вы хотите сохранить, во временное место за пределами dbt.
12. После отката к удалённому состоянию откройте файл .gitignore в ветке, над которой вы работаете. Если новые изменения не включены, вам потребуется слить последние коммиты из ветки main в вашу рабочую ветку.
13. Перейдите в File Explorer, чтобы убедиться, что файл .gitignore содержит корректные записи, и проверьте, что неотслеживаемые файлы и папки, указанные в .gitignore, отображаются курсивом.
14. Отличная работа 🎉! Вы корректно настроили .gitignore и можете продолжать разработку!

Для получения дополнительной информации см. это подробное видео с дополнительными пояснениями.

Как мигрировать между git-провайдерами

Чтобы мигрировать от одного git-провайдера к другому, следуйте следующим шагам, чтобы избежать минимальных перебоев:

1. Вне dbt вам потребуется импортировать существующий репозиторий в нового провайдера. По умолчанию подключение репозитория в одном аккаунте не приводит к его автоматическому отключению от другого аккаунта.

   Например, если вы мигрируете с GitHub на Azure DevOps, вам нужно импортировать существующий репозиторий (GitHub) в нового провайдера Git (Azure DevOps). Подробные инструкции по выполнению этой операции смотрите в документации вашего провайдера Git (например, GitHub, GitLab, Azure DevOps).

2. Вернитесь в dbt и при необходимости настройте интеграцию с новым провайдером Git.

3. Отключите старый репозиторий в dbt, перейдя в Account Settings, затем в Projects.

4. Нажмите на ссылку Repository, затем выберите Edit и Disconnect.

   Отключите и снова подключите ваш репозиторий Git на странице настроек учетной записи dbt.

5. Нажмите Confirm Disconnect.

6. На той же странице подключите репозиторий нового провайдера Git, нажав Configure Repository.

   • Если вы используете нативную интеграцию, может потребоваться пройти OAuth-авторизацию.

7. Готово! Теперь вы подключены к новому провайдеру Git! 🎉

Примечание — в качестве совета рекомендуем обновить страницу и Studio IDE перед выполнением каких-либо действий.

Нашли ошибку?

Создать GitHub Issue