О подключениях к платформам данных

dbt platform может подключаться к различным провайдерам платформ данных. Разверните разделы ниже, чтобы узнать, какие платформы данных поддерживаются в dbt Core и dbt Fusion Engine:

Connection	Available on Latest	Available on FusionPrivate preview
AlloyDB	✅	❌
Amazon Athena	✅	❌
Amazon Redshift	✅	✅
Apache Spark	✅	❌
Azure Synapse Analytics	✅	❌
Databricks	✅	✅
Google BigQuery	✅	✅
Microsoft Fabric	✅	❌
PostgreSQL	✅	❌
Snowflake	✅	✅
Starburst or Trino	✅	❌
Teradata Preview	✅	❌

Loading table...

Чтобы подключиться к вашей базе данных в dbt:

1. Нажмите на имя вашей учетной записи внизу левого меню и выберите Account settings.
2. Выберите Connections в верхней левой части экрана, затем нажмите New connection.

Выберите подключение

Эти инструкции по подключению описывают базовые поля, необходимые для настройки соединения с платформой данных в dbt. Более подробные руководства, включающие демонстрационные данные проекта, см. в наших Quickstart guides.

Поддерживаемые методы аутентификации

В следующих таблицах показано, какие типы аутентификации поддерживаются для каждого подключения, доступного в dbt platform:

dbt Core

Интеграция	Пользовательские учетные данные	Учетные данные сервисного аккаунта	Warehouse OAuth для пользователей	External OAuth для пользователей	Service-to-service OAuth	SSH	Поддержка приватного подключения**
Snowflake	✅	✅	✅	✅	❌	❌	✅
BigQuery	✅	✅	✅	❌	✅	❌	✅
Databricks	✅	✅	✅	❌	❌	❌	✅
Redshift	✅	❌	❌	✅	❌	✅	✅
Fabric	✅	✅	❌	❌	❌	❌	❌
Synapse	✅	✅	❌	❌	❌	❌	✅
Trino	✅	❌	❌	❌	❌	❌	❌
Teradata	✅	❌	❌	❌	❌	❌	✅
AWS Athena	✅	✅	❌	❌	❌	❌	✅
Postgres	✅	❌	❌	❌	❌	✅	✅

Loading table...

** Приватное подключение поддерживается только для определённых облачных провайдеров и типов развертывания. Подробности см. в документации по приватному подключению.

dbt Fusion

Интеграция	Учетные данные пользователя / токен	Учетные данные сервисного аккаунта	Warehouse OAuth для пользователей	External OAuth для пользователей	Service-to-service OAuth	Key/Pair	MFA	SSH	Поддержка приватного подключения**
Snowflake	✅	✅	✅	✅	❌	✅	✅	❌	✅
BigQuery	✅	✅	✅	✅	❌	❌	❌	❌	✅
Databricks	✅	✅	✅	❌	❌	❌	❌	❌	✅
Redshift	✅	❌	❌	❌	❌	❌	❌	❌	✅

Loading table...

** Приватное подключение поддерживается только для определённых облачных провайдеров и типов развертывания. Подробнее см. в документации по приватному подключению.

Управление подключениями

Подключения к хранилищам данных — это ресурс уровня аккаунта. Вы можете найти их в разделе Account settings > Connections.

Подключения к хранилищам данных могут повторно использоваться в разных проектах. Если несколько проектов подключаются к одному и тому же хранилищу, вы должны повторно использовать одно и то же подключение, чтобы упростить управление. Подключения назначаются проекту через среду.

Модель подключения

Как показано на изображении, проект с 2 средами может использовать от 1 до 2 различных подключений. Если вы хотите отделить вашу производственную среду от непроизводственной, назначьте несколько подключений одному проекту.

Миграция с подключений уровня проекта на подключения уровня аккаунта

Внедрение подключений уровня аккаунта не потребует никаких перерывов в работе ваших текущих сценариев использования (Studio IDE, CLI, jobs и так далее).

Почему меня просят настроить среду разработки?

Если в вашем проекте ранее не было среды разработки, вы можете быть перенаправлены на страницу настройки проекта. Ваш проект все еще в целости. Выберите подключение для вашей новой среды разработки, и вы сможете снова просмотреть все ваши среды.

Однако, чтобы полностью использовать преимущества подключений на уровне учетной записи, вам, возможно, придется пересмотреть, как вы назначаете и используете подключения в проектах и средах.

Типичная настройка подключения после развертывания

Пожалуйста, рассмотрите следующие действия, так как шаги, которые вы предпримете, будут зависеть от желаемого результата.

• Первоначальная очистка списка подключений
  • Удалите неиспользуемые подключения с 0 средами.
  • Переименуйте подключения с временной, описательной схемой именования, чтобы лучше понять, где каждое используется

После первоначальной очистки

• Детализация подключений
  • Определите намерение для каждого подключения, обычно это комбинация экземпляра хранилища/базы данных, предполагаемого использования (разработка, производство и т.д.) и административной поверхности (какие команды/проекты будут нуждаться в совместной работе над подключением)
  • Стремитесь минимизировать необходимость локальных переопределений (например, расширенных атрибутов)
  • Придите к консенсусу по поводу соглашения об именах. Мы рекомендуем называть подключения по имени хоста сервера и отличительным намерением/доменом/конфигурацией. Так будет легче повторно использовать подключения в разных проектах

Определена детализация

• Дедупликация (список подключений + детали среды — пока не касаясь расширенных атрибутов)
  • На основе детализации ваших подключений определите, какие подключения должны остаться среди групп дубликатов, и обновите каждую соответствующую среду, чтобы использовать это подключение
  • Удаляйте неиспользуемые подключения с 0 средами по мере продвижения
  • Дедуплицируйте вдумчиво. Если вы хотите, чтобы подключения поддерживались двумя разными группами пользователей, вы можете сохранить два идентичных подключения к одному и тому же хранилищу, чтобы каждое могло развиваться так, как считает нужным, без влияния на другую группу
  • Не обновляйте расширенные атрибуты на этом этапе

Подключения дедуплицированы

• Нормализация
  • Разберитесь, как следует создавать новые подключения, чтобы избежать локальных переопределений. Если в настоящее время вы используете extended attributes для переопределения экземпляра хранилища данных в production‑окружении, вместо этого следует создать новое подключение для этого экземпляра и привязать к нему production‑окружение, устранив необходимость в локальных переопределениях.
  • Создайте новые подключения, обновите соответствующие окружения так, чтобы они указывали на эти подключения, и удалите ставшие ненужными локальные переопределения (возможно, не все из них).
  • Протестируйте новую связку, запустив jobs или начав сессии в Studio IDE

Подключения нормализованы

Ограничения по IP

dbt всегда будет подключаться к вашей платформе данных с IP-адресов, указанных на странице Regions & IP addresses.

Убедитесь, что вы разрешили трафик с этих IP-адресов в вашем файрволе и включили их в любые предоставления базы данных.

Разрешение только этих IP-адресов обеспечивает подключение к вашему data warehouse. Однако вам может понадобиться отправлять API‑запросы из вашей ограниченной сети в API dbt. Использование API dbt требует разрешения поддомена cloud.getdbt.com. Подробнее об архитектуре dbt см. в разделе Deployment architecture.

Нашли ошибку?

Создать GitHub Issue