Импорт проекта по URL-адресу git

В dbt Cloud вы можете импортировать git-репозиторий из любого действительного URL-адреса git, который указывает на проект dbt. При этом важно учитывать некоторые моменты.

Протоколы Git

Вы должны использовать версию вашего URL-адреса git git@... или ssh:.., а не https://.... dbt Cloud использует протокол SSH для клонирования репозиториев, поэтому dbt Cloud не сможет клонировать репозитории, предоставленные с использованием протокола HTTP.

Управление ключами развертывания

После импорта проекта по URL-адресу Git, dbt Cloud сгенерирует ключ развертывания для вашего репозитория. Чтобы найти ключ развертывания в dbt Cloud:

1. В dbt Cloud нажмите на имя вашей учетной записи в левом меню и выберите Настройки учетной записи.
2. Перейдите в Проекты и выберите проект.
3. Нажмите на ссылку Репозиторий, чтобы перейти на страницу сведений о репозитории.
4. Скопируйте ключ в разделе Ключ развертывания.

Вы должны предоставить этот ключ развертывания в конфигурации репозитория вашего Git-хоста. Настройте этот ключ развертывания для предоставления доступа на чтение и запись к указанным репозиториям.

Примечание: Каждый проект dbt Cloud сгенерирует другой ключ развертывания при подключении к репозиторию, даже если два проекта подключены к одному и тому же репозиторию. Вам потребуется предоставить оба ключа развертывания вашему Git-провайдеру.

GitHub

Используете GitHub?

Если вы используете GitHub, вы можете импортировать ваш репозиторий напрямую, используя GitHub-приложение dbt Cloud. Подключение вашего репозитория через GitHub-приложение включает непрерывную интеграцию.

• Чтобы добавить ключ развертывания в учетную запись GitHub, перейдите на вкладку Deploy keys на странице настроек вашего репозитория GitHub.
• После указания имени для ключа развертывания и вставки вашего ключа развертывания (сгенерированного dbt Cloud), обязательно установите флажок Разрешить доступ на запись.
• После добавления этого ключа dbt Cloud сможет читать и записывать файлы в вашем проекте dbt.
• Обратитесь к Добавление ключа развертывания в GitHub

Настройка ключа развертывания GitHub

GitLab

Используете GitLab?

Если вы используете GitLab, вы можете импортировать ваш репозиторий напрямую, используя GitLab-приложение dbt Cloud. Подключение вашего репозитория через GitLab-приложение включает непрерывную интеграцию.

• Чтобы добавить ключ развертывания в учетную запись GitLab, перейдите на вкладку SSH keys на странице настроек пользователя вашей учетной записи GitLab.
• Затем вставьте ключ развертывания, сгенерированный dbt Cloud для вашего репозитория.
• После сохранения этого SSH-ключа dbt Cloud сможет читать и записывать файлы в вашем репозитории GitLab.
• Обратитесь к Добавление ключа развертывания только для чтения в GitLab

Настройка SSH-ключа GitLab

BitBucket

Используйте ключ развертывания для импорта вашего репозитория BitBucket в dbt Cloud. Чтобы сохранить безопасность учетной записи, используйте служебную учетную запись для добавления ключа развертывания BitBucket и поддержания связи между вашим репозиторием BitBucket и dbt Cloud.

BitBucket связывает каждый коммит в репозитории и другие действия Git (например, открытие pull request) с электронной почтой, связанной с учетной записью пользователя Bitbucket.

Чтобы добавить ключ развертывания в учетную запись BitBucket:

• Перейдите на вкладку SSH keys на странице Personal Settings вашей учетной записи BitBucket.
• Затем нажмите кнопку Add key и вставьте ключ развертывания, сгенерированный dbt Cloud для вашего репозитория.
• После сохранения этого SSH-ключа dbt Cloud сможет читать и записывать файлы в вашем репозитории BitBucket.

Настройка SSH-ключа BitBucket

AWS CodeCommit

dbt Cloud может работать с проектами dbt, размещенными на AWS CodeCommit, но для этого требуется выполнить несколько дополнительных шагов по сравнению с Github или другими git-провайдерами. Это руководство поможет вам подключить ваш проект dbt, размещенный на CodeCommit, к dbt Cloud.

Шаг 1: Создайте пользователя AWS для dbt Cloud

• Чтобы предоставить dbt Cloud доступ к вашему репозиторию, сначала вам нужно создать пользователя AWS IAM для dbt Cloud.
• Войдите в консоль AWS и перейдите в раздел IAM.
• Нажмите Add User и создайте нового пользователя, введя уникальное и значимое имя пользователя.
• Пользователю потребуется доступ на клонирование вашего репозитория. Вы можете сделать это, добавив разрешение AWSCodeCommitPowerUser во время настройки.

Шаг 2: Импортируйте ваш репозиторий по имени

• Откройте консоль AWS CodeCommit и выберите ваш репозиторий.
• Скопируйте SSH URL с этой страницы.
• Затем перейдите на страницу New Repository в dbt Cloud.
• Выберите вкладку Git Clone и вставьте SSH URL, который вы скопировали из консоли.
• На странице сведений о новом репозитории вы увидите поле Deploy Key.
• Скопируйте содержимое этого поля, так как оно понадобится вам для Шага 3.

Примечание: Сгенерированный dbt Cloud открытый ключ является единственным ключом, который будет работать на следующем шаге. Любой другой ключ, сгенерированный вне dbt Cloud, не будет работать.

Шаг 3: Предоставьте доступ пользователю AWS dbt Cloud

• Откройте вновь созданного пользователя dbt Cloud в консоли AWS IAM.
• Выберите вкладку Security Credentials и затем нажмите Upload SSH public key.
• Вставьте содержимое поля Public Key со страницы репозитория dbt Cloud.
• После создания ключа вы увидите для него SSH key ID.
• Свяжитесь с поддержкой dbt и поделитесь этим полем, чтобы команда поддержки dbt могла завершить процесс настройки для вас.

Шаг 4: Укажите пользовательскую ветку в dbt Cloud

CodeCommit использует master в качестве своей ветки по умолчанию, и для инициализации вашего проекта вам нужно будет указать ветку master в качестве пользовательской ветки в dbt Cloud.

• Перейдите в Deploy -> Environments -> Development.
• Выберите Settings -> Edit и в разделе General Settings установите флажок Default to a custom branch.
• Укажите пользовательскую ветку как master и нажмите Save.

Шаг 5: Настройте URL-адреса шаблона pull request (необязательно)

Чтобы предотвратить прямое слияние изменений кода в ветку по умолчанию, настройте URL шаблона PR на странице Repository details для вашего проекта. После настройки dbt Cloud будет предлагать пользователям открыть новый PR после фиксации и синхронизации изменений кода в ветке в IDE, прежде чем сливать какие-либо изменения в ветку по умолчанию.

• Перейдите в Account Settings -> Projects -> Выберите проект.
• Нажмите на ссылку репозитория в разделе Repository.
• На странице Repository details нажмите Edit в нижнем правом углу.
  Настройка шаблона PR на странице 'Repository details'.
• В поле Pull request URL укажите URL на основе предложенного формата шаблона PR.
• Замените <repo> на имя вашего репозитория (обратите внимание, что это чувствительно к регистру). В следующем примере имя репозитория New_Repo.
  В поле URL запроса на вытягивание пример, имя репозитория 'New_Repo'.
• После заполнения поля Pull request URL нажмите Save.

🎉 Вы готовы! Как только поддержка dbt обработает ваш запрос и вы настроите вашу пользовательскую ветку, ваш проект готов к выполнению запусков dbt в dbt Cloud.

Azure DevOps

Используете Azure DevOps?

Если вы используете Azure DevOps и у вас есть план dbt Cloud Enterprise, вы можете импортировать ваш репозиторий напрямую, используя интеграцию Azure DevOps dbt Cloud. Подключение вашего репозитория через приложение Azure DevOps включает непрерывную интеграцию.

1. Чтобы добавить ключ развертывания в учетную запись Azure DevOps, перейдите на страницу SSH public keys в настройках пользователя вашей учетной записи Azure DevOps или учетной записи служебного пользователя.

2. Мы рекомендуем использовать выделенного служебного пользователя для интеграции, чтобы гарантировать, что соединение dbt Cloud с Azure DevOps не будет прервано изменениями в разрешениях пользователя.

Перейдите на страницу настроек 'SSH public keys'

3. Затем нажмите кнопку + New Key, чтобы создать новый SSH-ключ для репозитория.

Нажмите кнопку '+ New Key', чтобы создать новый SSH-ключ для репозитория.

4. Выберите описательное имя для ключа и затем вставьте ключ развертывания, сгенерированный dbt Cloud для вашего репозитория.

5. После сохранения этого SSH-ключа dbt Cloud сможет читать и записывать файлы в вашем репозитории Azure DevOps.

Введите и сохраните открытый ключ, сгенерированный для вашего репозитория dbt Cloud

Другие git-провайдеры

Не видите здесь вашего git-провайдера? Пожалуйста, свяжитесь с поддержкой dbt - мы будем рады помочь вам настроить dbt Cloud с любым поддерживаемым git-провайдером.

Ограниченная интеграция

Некоторые функции dbt Cloud требуют тесной интеграции с вашим git-хостом, например, обновление pull request в GitHub с состояниями запусков dbt Cloud. Импорт вашего проекта по URL-адресу не позволяет использовать эти функции. После того как вы предоставите dbt Cloud доступ к вашему репозиторию, вы можете продолжить настройку вашего проекта, добавив соединение и создав и запустив вашу первую задачу dbt Cloud.

Часто задаваемые вопросы

Как исправить мой файл .gitignore?

Файл .gitignore указывает, какие файлы git должен намеренно игнорировать или "не отслеживать". dbt Cloud указывает на неотслеживаемые файлы в панели проводника проекта, выделяя имя файла или папки курсивом.

Если вы сталкиваетесь с проблемами, такими как сложности с отменой изменений, переключением или созданием новой ветки, или отсутствием запроса на открытие pull request после коммита в dbt Cloud IDE — это обычно указывает на проблему с файлом .gitignore. Файл может отсутствовать или не содержать необходимых записей для корректной работы dbt Cloud.

Исправление в dbt Cloud IDE

Чтобы решить проблемы с вашим файлом gitignore, добавление правильных записей не удалит автоматически (или "не будет отслеживать") файлы или папки, которые уже отслеживаются git. Обновленный gitignore будет только предотвращать отслеживание новых файлов или папок. Поэтому вам нужно сначала исправить файл gitignore, а затем выполнить некоторые дополнительные операции git, чтобы перестать отслеживать любые неправильные файлы или папки.

1. Запустите Cloud IDE в проекте, который нужно исправить, выбрав Develop в строке меню.
2. В вашем Проводнике файлов проверьте, существует ли файл .gitignore в корне папки вашего проекта dbt. Если его нет, создайте новый файл.
3. Откройте новый или существующий файл gitignore и добавьте следующее:

# ✅ Правильно 
target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

• Примечание — Вы можете разместить эти строки в любом месте файла, главное, чтобы они были на отдельных строках. Показанные строки являются шаблонами, которые включат все вложенные файлы и папки. Избегайте добавления завершающего '*' к строкам, например, target/*.

Для получения дополнительной информации о синтаксисе gitignore обратитесь к документации Git.

4. Сохраните изменения, но не коммитьте.
5. Перезапустите IDE, нажав на три точки рядом с кнопкой IDE Status в нижнем правом углу экрана IDE и выберите Restart IDE.

Перезапустите IDE, нажав на три точки в нижнем правом углу или кликнув на строку состояния

6. После перезапуска IDE перейдите в Проводник файлов, чтобы удалить следующие файлы или папки (если они существуют). Данные не будут потеряны:

   • target, dbt_modules, dbt_packages, logs

7. Сохраните, затем Коммитьте и синхронизируйте изменения.

8. Снова перезапустите IDE, используя ту же процедуру, что и в шаге 5.

9. После перезапуска IDE используйте кнопку Create a pull request (PR) в меню Version Control, чтобы начать процесс интеграции изменений.

10. Когда веб-сайт git-провайдера откроется на странице с новым PR, выполните необходимые шаги, чтобы завершить и слить PR в основную ветку этого репозитория.

    • Примечание — Основная ветка может также называться 'master', 'dev', 'qa', 'prod' или как-то иначе в зависимости от организационных соглашений о наименовании. Цель состоит в том, чтобы слить эти изменения в корневую ветку, от которой создаются все другие ветки разработки.

11. Вернитесь в dbt Cloud IDE и используйте кнопку Change Branch, чтобы переключиться на основную ветку проекта.

12. После смены ветки нажмите кнопку Pull from remote, чтобы подтянуть все изменения.

13. Проверьте изменения, убедившись, что файлы/папки в файле .gitignore выделены курсивом.

Проект dbt на основной ветке с правильно настроенными папками gitignore (выделены курсивом).

Исправление у git-провайдера

Иногда необходимо использовать веб-интерфейс git-провайдера, чтобы исправить поврежденный файл .gitignore. Хотя конкретные шаги могут различаться у разных провайдеров, общий процесс остается тем же.

Существует два варианта для этого подхода: редактирование основной ветки напрямую, если это разрешено, или создание pull request для внесения изменений, если это требуется:

Редактировать в основной ветке

Если разрешения позволяют, можно редактировать .gitignore напрямую в основной ветке вашего репозитория. Вот следующие шаги:

1. Перейдите в веб-интерфейс вашего репозитория.
2. Переключитесь на основную ветку и корневую директорию вашего проекта dbt.
3. Найдите файл .gitignore. Создайте пустой, если он не существует.
4. Отредактируйте файл в веб-интерфейсе, добавив следующие записи:

target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

5. Коммитьте (сохраните) файл.
6. Удалите следующие папки из корня проекта dbt, если они существуют. Данные или код не будут потеряны:
   • target, dbt_modules, dbt_packages, logs
7. Коммитьте (сохраните) удаления в основную ветку.
8. Переключитесь на dbt Cloud IDE и откройте проект, который вы исправляете.
9. Откатите ваш репозиторий к удаленному в IDE, нажав на три точки рядом с кнопкой IDE Status в нижнем правом углу экрана IDE, затем выберите Rollback to remote.
   • Примечание — Откат к удаленному сбрасывает ваш репозиторий к более ранней копии с вашего удаленного. Любые сохраненные, но не закоммиченные изменения будут потеряны, поэтому убедитесь, что вы скопировали любой измененный код, который хотите сохранить, во временное место за пределами dbt Cloud.
10. После отката к удаленному откройте файл .gitignore в ветке, в которой вы работаете. Если новые изменения не включены, вам нужно будет слить последние коммиты из основной ветки в вашу рабочую ветку.
11. Перейдите в Проводник файлов, чтобы убедиться, что файл .gitignore содержит правильные записи, и убедитесь, что неотслеживаемые файлы/папки в файле .gitignore выделены курсивом.
12. Отличная работа 🎉! Вы правильно настроили .gitignore и можете продолжать разработку!

Невозможно редактировать основную ветку

Если вы не можете редактировать .gitignore напрямую в основной ветке вашего репозитория, выполните следующие шаги:

1. Перейдите в веб-интерфейс вашего репозитория.
2. Переключитесь на существующую ветку разработки или создайте новую ветку только для этих изменений (это часто быстрее и чище).
3. Найдите файл .gitignore. Создайте пустой, если он не существует.
4. Отредактируйте файл в веб-интерфейсе, добавив следующие записи:

target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

5. Коммитьте (сохраните) файл.
6. Удалите следующие папки из корня проекта dbt, если они существуют. Данные или код не будут потеряны:
   • target, dbt_modules, dbt_packages, logs
7. Коммитьте (сохраните) удаленные папки.
8. Откройте запрос на слияние, используя веб-интерфейс git-провайдера. Запрос на слияние должен попытаться слить изменения в 'основную' ветку, от которой создаются все ветки разработки.
9. Следуйте необходимым процедурам, чтобы получить одобрение ветки и слить ее в 'основную' ветку. Вы можете удалить ветку после завершения слияния.
10. После завершения слияния вернитесь в dbt Cloud IDE и откройте проект, который вы исправляете.
11. Откатите ваш репозиторий к удаленному в IDE, нажав на три точки рядом с кнопкой IDE Status в нижнем правом углу экрана IDE, затем выберите Rollback to remote.
    • Примечание — Откат к удаленному сбрасывает ваш репозиторий к более ранней копии с вашего удаленного. Любые сохраненные, но не закоммиченные изменения будут потеряны, поэтому убедитесь, что вы скопировали любой измененный код, который хотите сохранить, во временное место за пределами dbt Cloud.
12. После отката к удаленному откройте файл .gitignore в ветке, в которой вы работаете. Если новые изменения не включены, вам нужно будет слить последние коммиты из основной ветки в вашу рабочую ветку.
13. Перейдите в Проводник файлов, чтобы убедиться, что файл .gitignore содержит правильные записи, и убедитесь, что неотслеживаемые файлы/папки в файле .gitignore выделены курсивом.
14. Отличная работа 🎉! Вы правильно настроили .gitignore и можете продолжать разработку!

Для получения дополнительной информации обратитесь к этому подробному видео для дополнительного руководства.

Как мигрировать между git-провайдерами

Чтобы мигрировать от одного git-провайдера к другому, следуйте следующим шагам, чтобы избежать минимальных перебоев:

1. Вне dbt Cloud вам нужно будет импортировать ваш существующий репозиторий в нового провайдера.

   Например, если вы мигрируете с GitHub на Azure DevOps, вам нужно будет импортировать ваш существующий репозиторий (GitHub) в нового git-провайдера (Azure DevOps). Для получения подробных шагов о том, как это сделать, обратитесь к документации вашего git-провайдера (например, GitHub, GitLab, Azure DevOps).

2. Вернитесь в dbt Cloud и настройте интеграцию для нового git-провайдера, если это необходимо.

3. Отключите старый репозиторий в dbt Cloud, перейдя в Настройки аккаунта, затем Проекты. Нажмите на ссылку Репозиторий, затем нажмите Редактировать и Отключить.

   Отключите и подключите ваш git-репозиторий на страницах настроек аккаунта dbt Cloud.

4. На той же странице подключитесь к новому репозиторию git-провайдера, нажав Настроить репозиторий.

   • Если вы используете нативную интеграцию, возможно, вам потребуется выполнить OAuth.

5. Готово, теперь вы должны быть подключены к новому git-провайдеру! 🎉

Примечание — В качестве совета, мы рекомендуем обновить вашу страницу и dbt Cloud IDE перед выполнением любых действий.