Подключение к GitLab

Подключение вашей учетной записи GitLab к dbt Cloud обеспечивает удобство и дополнительный уровень безопасности для dbt Cloud:

• Импортируйте новые репозитории GitLab несколькими щелчками мыши во время настройки проекта dbt Cloud.
• Клонируйте репозитории, используя HTTPS вместо SSH.
• Переносите разрешения пользователей GitLab в dbt Cloud или в git-действия dbt Cloud CLI.
• Запускайте сборки непрерывной интеграции при открытии запросов на слияние в GitLab.
  • GitLab автоматически регистрирует вебхук в вашем репозитории GitLab для обеспечения бесшовной интеграции с dbt Cloud.

Шаги по интеграции GitLab в dbt Cloud зависят от вашего плана. Если вы используете:

• план Developer или Team, прочтите эти инструкции.
• план Enterprise, перейдите к этим инструкциям.

Для планов dbt Cloud Developer и Team

Чтобы подключить вашу учетную запись GitLab:

1. В dbt Cloud нажмите на имя вашей учетной записи в левом меню и выберите Настройки учетной записи.
2. Выберите Личный профиль в разделе Ваш профиль.
3. Прокрутите вниз до Связанные учетные записи.
4. Нажмите Связать справа от вашей учетной записи GitLab.

Настройки личного профиля с разделом Связанные учетные записи в профиле пользователя

Когда вы нажмете Связать, вы будете перенаправлены в GitLab и вам будет предложено войти в свою учетную запись. Затем GitLab запросит ваше явное разрешение:

Экран авторизации GitLab

После того как вы примете, вы должны быть перенаправлены обратно в dbt Cloud, и вы увидите, что ваша учетная запись была связана с вашим профилем.

Для плана dbt Cloud Enterprise

Клиенты dbt Cloud Enterprise имеют дополнительное преимущество в виде возможности использовать собственное OAuth-приложение GitLab в dbt Cloud. Этот уровень обеспечивает дополнительную безопасность, так как dbt Cloud будет:

• Применять авторизацию пользователей с помощью OAuth.
• Переносить разрешения пользователей репозитория GitLab (доступ на чтение/запись) в dbt Cloud или в git-действия dbt Cloud CLI.

Чтобы подключить GitLab в dbt Cloud, администратор учетной записи GitLab должен:

1. Настроить OAuth-приложение GitLab.
2. Добавить приложение GitLab в dbt Cloud.

После того как администратор выполнит эти шаги, разработчики dbt Cloud должны:

1. Лично аутентифицироваться в GitLab из dbt Cloud.

Настройка OAuth-приложения GitLab

Мы рекомендуем, чтобы перед настройкой проекта в dbt Cloud администратор учетной записи GitLab настроил OAuth-приложение в GitLab для использования в dbt Cloud.

Для получения более подробной информации GitLab предоставляет руководство по созданию группового приложения.

В GitLab перейдите в настройки вашей группы и выберите Приложения. Здесь вы увидите форму для создания нового приложения.

Навигация по приложениям GitLab

В GitLab при создании вашего группового приложения введите следующее:

Поле	Значение
Имя	dbt Cloud
URI перенаправления	https://YOUR_ACCESS_URL/complete/gitlab
Конфиденциально	✅
Области	✅ api

Замените YOUR_ACCESS_URL на соответствующий URL доступа для вашего региона и плана.

Форма приложения в GitLab должна выглядеть следующим образом после заполнения:

Форма группового приложения GitLab

Нажмите Сохранить приложение в GitLab, и GitLab сгенерирует ID приложения и Секрет. Эти значения будут доступны даже если вы закроете экран приложения, так что это не единственный шанс их сохранить.

Если вы являетесь клиентом Business Critical, использующим ограничения по IP, убедитесь, что вы добавили соответствующие CIDR GitLab в ваши правила ограничения IP, иначе подключение к GitLab не удастся.

Добавление OAuth-приложения GitLab в dbt Cloud

После того как вы создали приложение GitLab, вам нужно предоставить dbt Cloud информацию о приложении. В dbt Cloud администраторы учетных записей должны перейти в Настройки учетной записи, нажать на вкладку Интеграции и развернуть раздел GitLab.

Навигация к интеграции GitLab в dbt Cloud

В dbt Cloud введите следующие значения:

Поле	Значение
Экземпляр GitLab	https://gitlab.com
ID приложения	скопируйте значение из приложения GitLab
Секрет	скопируйте значение из приложения GitLab

Обратите внимание, если у вас есть специальная хостинговая версия GitLab, измените Экземпляр GitLab, чтобы использовать предоставленное для вашей организации имя хоста, например https://gitlab.yourgreatcompany.com/.

После того как форма будет заполнена в dbt Cloud, нажмите Сохранить.

Затем вы будете перенаправлены в GitLab и вам будет предложено войти в свою учетную запись. GitLab запросит ваше явное разрешение:

Экран авторизации GitLab

После того как вы примете, вы должны быть перенаправлены обратно в dbt Cloud, и ваша интеграция будет готова для разработчиков вашей команды, чтобы лично аутентифицироваться.

Личная аутентификация в GitLab

Разработчики dbt Cloud на плане Enterprise должны каждый подключить свои профили GitLab к dbt Cloud, так как доступ каждого разработчика на чтение/запись для репозитория dbt проверяется в dbt Cloud IDE или dbt Cloud CLI.

Чтобы подключить личную учетную запись GitLab:

1. В dbt Cloud нажмите на имя вашей учетной записи в левом меню и выберите Настройки учетной записи.

2. Выберите Личный профиль в разделе Ваш профиль.

3. Прокрутите вниз до Связанные учетные записи.

Если ваша учетная запись GitLab не подключена, вы увидите "Нет подключенной учетной записи". Выберите Связать, чтобы начать процесс настройки. Вы будете перенаправлены в GitLab и вам будет предложено авторизовать dbt Cloud на экране предоставления разрешений.

Авторизация приложения dbt Cloud для разработчиков

После того как вы одобрите авторизацию, вы будете перенаправлены в dbt Cloud, и вы должны увидеть вашу подключенную учетную запись. Теперь вы готовы начать разработку в dbt Cloud IDE или dbt Cloud CLI.

Устранение неполадок

Невозможно запустить задачу CI с GitLab

Когда вы подключаете dbt Cloud к репозиторию GitLab, GitLab автоматически регистрирует вебхук в фоновом режиме, который можно просмотреть в настройках репозитория. Этот вебхук также используется для запуска задач CI при отправке изменений в репозиторий.

Если вы не можете запустить задачу CI, это обычно указывает на то, что регистрация вебхука отсутствует или неверна.

Чтобы решить эту проблему, перейдите в настройки репозитория в GitLab и просмотрите регистрации вебхуков, перейдя в GitLab --> Settings --> Webhooks.

Некоторые моменты, которые стоит проверить:

• Регистрация вебхука включена в GitLab.
• Регистрация вебхука настроена с правильным URL и секретом.

Если проблема все еще сохраняется, свяжитесь с нашей службой поддержки по адресу support@getdbt.com, и мы будем рады помочь!

Ошибки при импорте репозитория при настройке проекта в dbt Cloud

Если вы не видите свой репозиторий в списке, дважды проверьте, что:

• Ваш репозиторий находится в группе GitLab, к которой у вас есть доступ. dbt Cloud не будет читать репозитории, связанные с пользователем.

Если вы видите свой репозиторий в списке, но не можете успешно его импортировать, дважды проверьте, что:

• Вы являетесь мейнтейнером этого репозитория. Только пользователи с правами мейнтейнера могут настраивать подключения к репозиторию.

Если вы импортировали репозиторий, используя нативную интеграцию dbt Cloud с GitLab, вы должны иметь возможность увидеть, использует ли стратегия клонирования deploy_token. Если используется SSH-ключ, это означает, что репозиторий не был настроен с использованием нативной интеграции с GitLab, а был подключен с помощью общего варианта git clone. Репозиторий необходимо переподключить, чтобы получить описанные выше преимущества.

Как исправить мой файл .gitignore?

Файл .gitignore указывает, какие файлы git должен намеренно игнорировать или "не отслеживать". dbt Cloud указывает на неотслеживаемые файлы в панели проводника проекта, выделяя имя файла или папки курсивом.

Если вы сталкиваетесь с проблемами, такими как сложности с отменой изменений, переключением или созданием новой ветки, или отсутствием запроса на открытие pull request после коммита в dbt Cloud IDE — это обычно указывает на проблему с файлом .gitignore. Файл может отсутствовать или не содержать необходимых записей для корректной работы dbt Cloud.

Исправление в dbt Cloud IDE

Чтобы решить проблемы с вашим файлом gitignore, добавление правильных записей не удалит автоматически (или "не будет отслеживать") файлы или папки, которые уже отслеживаются git. Обновленный gitignore будет только предотвращать отслеживание новых файлов или папок. Поэтому вам нужно сначала исправить файл gitignore, а затем выполнить некоторые дополнительные операции git, чтобы перестать отслеживать любые неправильные файлы или папки.

1. Запустите Cloud IDE в проекте, который нужно исправить, выбрав Develop в строке меню.
2. В вашем Проводнике файлов проверьте, существует ли файл .gitignore в корне папки вашего проекта dbt. Если его нет, создайте новый файл.
3. Откройте новый или существующий файл gitignore и добавьте следующее:

# ✅ Правильно 
target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

• Примечание — Вы можете разместить эти строки в любом месте файла, главное, чтобы они были на отдельных строках. Показанные строки являются шаблонами, которые включат все вложенные файлы и папки. Избегайте добавления завершающего '*' к строкам, например, target/*.

Для получения дополнительной информации о синтаксисе gitignore обратитесь к документации Git.

4. Сохраните изменения, но не коммитьте.
5. Перезапустите IDE, нажав на три точки рядом с кнопкой IDE Status в нижнем правом углу экрана IDE и выберите Restart IDE.

Перезапустите IDE, нажав на три точки в нижнем правом углу или кликнув на строку состояния

6. После перезапуска IDE перейдите в Проводник файлов, чтобы удалить следующие файлы или папки (если они существуют). Данные не будут потеряны:

   • target, dbt_modules, dbt_packages, logs

7. Сохраните, затем Коммитьте и синхронизируйте изменения.

8. Снова перезапустите IDE, используя ту же процедуру, что и в шаге 5.

9. После перезапуска IDE используйте кнопку Create a pull request (PR) в меню Version Control, чтобы начать процесс интеграции изменений.

10. Когда веб-сайт git-провайдера откроется на странице с новым PR, выполните необходимые шаги, чтобы завершить и слить PR в основную ветку этого репозитория.

    • Примечание — Основная ветка может также называться 'master', 'dev', 'qa', 'prod' или как-то иначе в зависимости от организационных соглашений о наименовании. Цель состоит в том, чтобы слить эти изменения в корневую ветку, от которой создаются все другие ветки разработки.

11. Вернитесь в dbt Cloud IDE и используйте кнопку Change Branch, чтобы переключиться на основную ветку проекта.

12. После смены ветки нажмите кнопку Pull from remote, чтобы подтянуть все изменения.

13. Проверьте изменения, убедившись, что файлы/папки в файле .gitignore выделены курсивом.

Проект dbt на основной ветке с правильно настроенными папками gitignore (выделены курсивом).

Исправление у git-провайдера

Иногда необходимо использовать веб-интерфейс git-провайдера, чтобы исправить поврежденный файл .gitignore. Хотя конкретные шаги могут различаться у разных провайдеров, общий процесс остается тем же.

Существует два варианта для этого подхода: редактирование основной ветки напрямую, если это разрешено, или создание pull request для внесения изменений, если это требуется:

Редактировать в основной ветке

Если разрешения позволяют, можно редактировать .gitignore напрямую в основной ветке вашего репозитория. Вот следующие шаги:

1. Перейдите в веб-интерфейс вашего репозитория.
2. Переключитесь на основную ветку и корневую директорию вашего проекта dbt.
3. Найдите файл .gitignore. Создайте пустой, если он не существует.
4. Отредактируйте файл в веб-интерфейсе, добавив следующие записи:

target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

5. Коммитьте (сохраните) файл.
6. Удалите следующие папки из корня проекта dbt, если они существуют. Данные или код не будут потеряны:
   • target, dbt_modules, dbt_packages, logs
7. Коммитьте (сохраните) удаления в основную ветку.
8. Переключитесь на dbt Cloud IDE и откройте проект, который вы исправляете.
9. Откатите ваш репозиторий к удаленному в IDE, нажав на три точки рядом с кнопкой IDE Status в нижнем правом углу экрана IDE, затем выберите Rollback to remote.
   • Примечание — Откат к удаленному сбрасывает ваш репозиторий к более ранней копии с вашего удаленного. Любые сохраненные, но не закоммиченные изменения будут потеряны, поэтому убедитесь, что вы скопировали любой измененный код, который хотите сохранить, во временное место за пределами dbt Cloud.
10. После отката к удаленному откройте файл .gitignore в ветке, в которой вы работаете. Если новые изменения не включены, вам нужно будет слить последние коммиты из основной ветки в вашу рабочую ветку.
11. Перейдите в Проводник файлов, чтобы убедиться, что файл .gitignore содержит правильные записи, и убедитесь, что неотслеживаемые файлы/папки в файле .gitignore выделены курсивом.
12. Отличная работа 🎉! Вы правильно настроили .gitignore и можете продолжать разработку!

Невозможно редактировать основную ветку

Если вы не можете редактировать .gitignore напрямую в основной ветке вашего репозитория, выполните следующие шаги:

1. Перейдите в веб-интерфейс вашего репозитория.
2. Переключитесь на существующую ветку разработки или создайте новую ветку только для этих изменений (это часто быстрее и чище).
3. Найдите файл .gitignore. Создайте пустой, если он не существует.
4. Отредактируйте файл в веб-интерфейсе, добавив следующие записи:

target/
dbt_packages/
logs/
# устаревшее -- переименовано в dbt_packages в dbt v1
dbt_modules/

5. Коммитьте (сохраните) файл.
6. Удалите следующие папки из корня проекта dbt, если они существуют. Данные или код не будут потеряны:
   • target, dbt_modules, dbt_packages, logs
7. Коммитьте (сохраните) удаленные папки.
8. Откройте запрос на слияние, используя веб-интерфейс git-провайдера. Запрос на слияние должен попытаться слить изменения в 'основную' ветку, от которой создаются все ветки разработки.
9. Следуйте необходимым процедурам, чтобы получить одобрение ветки и слить ее в 'основную' ветку. Вы можете удалить ветку после завершения слияния.
10. После завершения слияния вернитесь в dbt Cloud IDE и откройте проект, который вы исправляете.
11. Откатите ваш репозиторий к удаленному в IDE, нажав на три точки рядом с кнопкой IDE Status в нижнем правом углу экрана IDE, затем выберите Rollback to remote.
    • Примечание — Откат к удаленному сбрасывает ваш репозиторий к более ранней копии с вашего удаленного. Любые сохраненные, но не закоммиченные изменения будут потеряны, поэтому убедитесь, что вы скопировали любой измененный код, который хотите сохранить, во временное место за пределами dbt Cloud.
12. После отката к удаленному откройте файл .gitignore в ветке, в которой вы работаете. Если новые изменения не включены, вам нужно будет слить последние коммиты из основной ветки в вашу рабочую ветку.
13. Перейдите в Проводник файлов, чтобы убедиться, что файл .gitignore содержит правильные записи, и убедитесь, что неотслеживаемые файлы/папки в файле .gitignore выделены курсивом.
14. Отличная работа 🎉! Вы правильно настроили .gitignore и можете продолжать разработку!

Для получения дополнительной информации обратитесь к этому подробному видео для дополнительного руководства.

Я вижу ошибку устаревшей аутентификации GitLab

Если вы видите страницу ошибки сервера 500 с сообщением 'Аутентификация GitLab устарела', это обычно происходит, когда ключ развертывания в настройках репозитория в dbt Cloud и GitLab не совпадают.

Не беспокойтесь — это текущая проблема, над которой работает команда dbt Labs, и у нас есть несколько обходных путей, которые вы можете попробовать:

Первый обходной путь

1. Отключите репозиторий от проекта в dbt Cloud.
2. Перейдите в GitLab и нажмите на Настройки > Репозиторий.
3. В настройках репозитория удалите/отмените активные токены развертывания и ключи развертывания dbt Cloud.
4. Попробуйте снова подключить ваш репозиторий через dbt Cloud.
5. Затем вам нужно будет проверить в GitLab, чтобы убедиться, что новый ключ развертывания добавлен.
6. После подтверждения, что он добавлен, обновите dbt Cloud и попробуйте снова начать разработку.

Второй обходной путь

1. Оставьте репозиторий в проекте как есть — не отключайте.
2. Скопируйте ключ развертывания, сгенерированный в dbt Cloud.
3. Перейдите в GitLab и нажмите на Настройки > Репозиторий.
4. В настройках репозитория вручную добавьте ключ развертывания в проект GitLab (с установленной галочкой Grant write permissions).
5. Вернитесь в dbt Cloud, обновите страницу и попробуйте снова начать разработку.

Если вы попробовали указанные выше обходные пути и все еще сталкиваетесь с этой проблемой, свяжитесь с нашей службой поддержки по адресу support@getdbt.com, и мы будем рады помочь!

Can self-hosted GitLab instances only be connected via dbt Cloud Enterprise plans?

На данный момент да, это доступно только пользователям Enterprise. Это связано с тем, как необходимо настроить URL перенаправления приложения GitLab для аутентификации, который можно настроить только если вы являетесь пользователем на тарифном плане Enterprise.

Посмотрите нашу страницу с ценами для получения дополнительной информации или свяжитесь с нами через контактную форму, чтобы обсудить условия тарифа Enterprise.

Как мигрировать между git-провайдерами

Чтобы мигрировать от одного git-провайдера к другому, следуйте следующим шагам, чтобы избежать минимальных перебоев:

1. Вне dbt Cloud вам нужно будет импортировать ваш существующий репозиторий в нового провайдера.

   Например, если вы мигрируете с GitHub на Azure DevOps, вам нужно будет импортировать ваш существующий репозиторий (GitHub) в нового git-провайдера (Azure DevOps). Для получения подробных шагов о том, как это сделать, обратитесь к документации вашего git-провайдера (например, GitHub, GitLab, Azure DevOps).

2. Вернитесь в dbt Cloud и настройте интеграцию для нового git-провайдера, если это необходимо.

3. Отключите старый репозиторий в dbt Cloud, перейдя в Настройки аккаунта, затем Проекты. Нажмите на ссылку Репозиторий, затем нажмите Редактировать и Отключить.

   Отключите и подключите ваш git-репозиторий на страницах настроек аккаунта dbt Cloud.

4. На той же странице подключитесь к новому репозиторию git-провайдера, нажав Настроить репозиторий.

   • Если вы используете нативную интеграцию, возможно, вам потребуется выполнить OAuth.

5. Готово, теперь вы должны быть подключены к новому git-провайдеру! 🎉

Примечание — В качестве совета, мы рекомендуем обновить вашу страницу и dbt Cloud IDE перед выполнением любых действий.