Подключение PostgreSQL, Lakebase и AlloyDB

Платформа dbt поддерживает подключение к PostgresSQL и Postgres-совместимым базам данных (AlloyDB, Lakebase).

Следующие поля являются обязательными при создании подключения:

Field	Description	Examples
Host Name	Имя хоста базы данных, к которой выполняется подключение. Это может быть как DNS-имя, так и IP-адрес. Обратитесь к страницам настройки, чтобы узнать hostname для вашего адаптера.	Postgres: xxx.us-east-1.amazonaws.com
Port	Обычно 5432	5439
Database	Логическая база данных, к которой выполняется подключение и в которой будут запускаться запросы.	analytics

Loading table...

Примечание: При настройке подключения Postgres в dbt параметры, связанные с SSL, недоступны для ввода.

Настройка подключения Postgres

Параметры аутентификации

Для аутентификации пользователи dbt могут использовать имя пользователя и пароль базы данных для Postgres и Postgres-совместимых баз данных. Подробнее о поддерживаемых возможностях, ограничениях и полезных рекомендациях см. на странице настройки конкретной базы данных.

В следующей таблице приведены параметры для подключения к базе данных с использованием пароля.

Field	Description	Examples
user	Имя пользователя учетной записи для входа в кластер	myuser
password	Пароль для аутентификации	_password1!

Loading table...

Подключение через SSH-туннель

Чтобы подключиться к экземпляру Postgres or AlloyDB через SSH‑туннель, при создании подключения выберите опцию Use SSH Tunnel. При настройке туннеля необходимо указать hostname, имя пользователя и порт для bastion‑сервера.

После сохранения подключения для него будет сгенерирован и отображён публичный ключ. Вы можете скопировать этот публичный ключ на bastion‑сервер, чтобы авторизовать dbt для подключения к вашей базе данных через bastion‑сервер.

Открытый ключ создаётся после сохранения

О бастионном сервере в AWS

Что такое бастионный сервер?

Bastion‑сервер в Amazon Web Services (AWS) — это хост, который позволяет dbt устанавливать SSH‑соединение.

dbt отправляет только запросы и не передаёт большие объёмы данных. Это означает, что bastion‑сервер может работать на AWS‑инстансе практически любого размера, например t2.small или t2.micro.

Убедитесь, что инстанс расположен в той же Virtual Private Cloud (VPC), что и экземпляр Postgres, и что для группы безопасности bastion‑сервера настроены правила, позволяющие подключаться к порту хранилища данных.

Настройка bastion‑сервера в AWS

Чтобы настроить SSH‑туннель в dbt, вам нужно указать hostname/IP вашего bastion‑сервера, имя пользователя и порт (на ваш выбор), к которому будет подключаться dbt. Выполните следующие шаги:

1. Убедитесь, что сетевые правила безопасности bastion‑сервера настроены так, чтобы принимать подключения с IP‑адресов dbt на тот порт, который вы настроили.

2. Создайте пользовательскую учётную запись с помощью CLI инстанса bastion‑сервера. В следующем примере используется имя пользователя dbtcloud:

   sudo groupadd dbtcloud
   sudo useradd -m -g dbtcloud dbtcloud
   sudo su - dbtcloud
   mkdir ~/.ssh
   chmod 700 ~/.ssh
   touch ~/.ssh/authorized_keys
   chmod 600 ~/.ssh/authorized_keys

3. Скопируйте и вставьте сгенерированный dbt публичный ключ в файл authorized_keys.

После этого bastion‑сервер будет готов к использованию dbt в качестве туннеля для подключения к окружению Postgres.

Конфигурация

Чтобы предоставить пользователям или ролям разрешения на уровне базы данных (права доступа и привилегии), обратитесь к странице Postgres permissions.

FAQs

 Ошибка базы данных — не удалось подключиться к серверу: Connection timed out

При настройке подключения к базе данных через SSH-туннель необходимы следующие компоненты:

• Балансировщик нагрузки (например, ELB или NLB) для управления трафиком.
• Bastion host (или jump server), на котором работает SSH-протокол и который служит защищенной точкой входа.
• Сама база данных (например, кластер Postgres).

dbt использует SSH-туннель для подключения через балансировщик нагрузки к базе данных. Это соединение устанавливается в начале каждого запуска задания dbt. Если туннельное соединение обрывается, выполнение задания завершается с ошибкой.

Сбои SSH-туннеля обычно происходят по следующим причинам:

• SSH-демон завершает соединение при слишком длительном простое.
• Балансировщик нагрузки разрывает соединение при отсутствии активности.
• dbt пытается поддерживать соединение, отправляя проверочные запросы каждые 30 секунд, и система завершает соединение, если не получает ответа от SSH-сервиса в течение 300 секунд. Это помогает избежать разрывов из‑за простоя, если только тайм-аут балансировщика нагрузки не меньше 30 секунд.

Bastion host может иметь дополнительные настройки SSH, которые отключают неактивных клиентов после нескольких проверок без ответа. По умолчанию выполняется три такие проверки.

Чтобы предотвратить преждевременные разрывы соединения, можно изменить настройки на bastion host:

• ClientAliveCountMax — определяет количество проверок перед тем, как клиент считается неактивным. Например, ClientAliveCountMax 10 означает 10 проверок.
• ClientAliveInterval — определяет интервал проверки активности клиента. Например, ClientAliveInterval 30 выполняет проверку каждые 30 секунд.

Эти примеры настроек обеспечивают отключение неактивных SSH-клиентов примерно через 300 секунд, снижая вероятность сбоев SSH-туннеля.

Нашли ошибку?

Создать GitHub Issue