Перейти к основному содержимому

Настройка Databricks PrivateLink Enterprise +

Доступно для определённых Enterprise-тарифов

Функция приватного подключения доступна для следующих Enterprise-тарифов dbt:

  • Business Critical
  • Virtual Private

Чтобы узнать больше об этих тарифах, свяжитесь с нами по адресу sales@getdbt.com.

Следующие шаги проведут вас через настройку конечной точки Databricks AWS PrivateLink в многопользовательской среде dbt.

Частные конечные точки подключения не могут соединяться между разными облачными провайдерами (AWS, Azure и GCP). Чтобы частное подключение работало, и dbt, и сервер (например, Databricks) должны быть размещены у одного и того же облачного провайдера. Например, dbt, размещённый в AWS, не может подключаться к сервисам, размещённым в Azure, а dbt, размещённый в Azure, не может подключаться к сервисам, размещённым в GCP.

  1. Найдите ваше имя экземпляра Databricks

    • Пример: cust-success.cloud.databricks.com

  2. Добавьте необходимую информацию в следующий шаблон и отправьте ваш запрос на AWS PrivateLink в dbt Support:

    Subject: New AWS Multi-Tenant PrivateLink Request
    - Type: Databricks
    - Databricks instance name:
    - Databricks cluster AWS Region (for example, us-east-1, eu-west-2):
    - dbt AWS multi-tenant environment (US, EMEA, AU):

    dbt Labs выполнит настройку приватного подключения от вашего имени. Пожалуйста, заложите 3–5 рабочих дней на завершение этого процесса. Служба поддержки свяжется с вами, когда конечная точка (endpoint) будет доступна.

  3. После того как служба поддержки dbt уведомит вас о завершении настройки, зарегистрируйте VPC endpoint в Databricks и подключите его к workspace:

    • Register your VPC endpoint — Зарегистрируйте VPC endpoint, используя VPC endpoint ID, предоставленный службой поддержки dbt.
    • Create a Private Access Settings object — Создайте объект Private Access Settings (PAS) с нужными вам настройками публичного доступа и установите Private Access Level в значение Endpoint. Выберите зарегистрированный endpoint, созданный на предыдущем шаге.
    • Create or update your workspace — Создайте workspace или обновите существующий. В разделе Advanced configurations → Private Link выберите объект Private Access Settings, созданный на предыдущем шаге.
    warning

    Если вы используете существующую рабочую область Databricks, все рабочие нагрузки в этой области должны быть остановлены для включения Private Link. Рабочие нагрузки также не могут быть запущены в течение 20 минут после внесения изменений. Из документации Databricks:

    "После создания (или обновления) рабочей области подождите, пока она не станет доступной для использования или создания кластеров. Статус рабочей области остается RUNNING, и изменение VPC происходит немедленно. Однако вы не можете использовать или создавать кластеры в течение следующих 20 минут. Если вы создаете или используете кластеры до истечения этого временного интервала, кластеры не запускаются успешно, могут завершиться с ошибкой или вызвать другие неожиданные поведения."

Создание подключения в dbt​

После того как вы завершили настройку в окружении Databricks, вы сможете сконфигурировать приватный endpoint в dbt:

  1. Перейдите в Settings → Create new project → выберите Databricks.
  2. Вы увидите два переключателя: Public и Private. Выберите Private.
  3. Выберите приватный endpoint из выпадающего списка (поле hostname/account будет заполнено автоматически).
  4. Настройте остальные параметры платформы данных.
  5. Проверьте подключение и сохраните его.

Нашли ошибку?

0
Loading