Перейти к основному содержимому

Настройка Databricks и Azure Private Link

Доступно для определённых Enterprise-тарифов

Функция приватного подключения доступна для следующих Enterprise-тарифов dbt:

  • Business Critical
  • Virtual Private

Чтобы узнать больше об этих тарифах, свяжитесь с нами по адресу sales@getdbt.com.

Следующие шаги проведут вас через процесс настройки эндпоинта Databricks Azure Private Link в многопользовательской (multi-tenant) среде dbt.

Частные конечные точки подключения не могут соединяться между разными облачными провайдерами (AWS, Azure и GCP). Чтобы частное подключение работало, и dbt, и сервер (например, Databricks) должны быть размещены у одного и того же облачного провайдера. Например, dbt, размещённый в AWS, не может подключаться к сервисам, размещённым в Azure, а dbt, размещённый в Azure, не может подключаться к сервисам, размещённым в GCP.

  1. Перейдите в ваш рабочий процесс Azure Databricks.
    Формат пути: /subscriptions/<subscription_uuid>/resourceGroups/<resource_group_name>/providers/Microsoft.Databricks/workspaces/<workspace_name>.
  2. На странице обзора рабочего пространства нажмите JSON view.
  3. Скопируйте значение из поля resource_id.
  4. Добавьте необходимую информацию в следующий шаблон и отправьте запрос на создание Azure Private Link в службу поддержки dbt: 
      Subject: New Azure Multi-Tenant Private Link Request
    - Type: Databricks
    - Databricks instance name:
    - Azure Databricks Workspace URL (for example, adb-################.##.azuredatabricks.net)
    - Databricks Azure resource ID:
    - dbt Azure multi-tenant environment (EMEA):
    - Azure Databricks workspace region (like WestEurope, NorthEurope):
  5. После того как команда поддержки подтвердит, что ресурсы доступны в портале Azure, перейдите в рабочее пространство Azure Databricks и откройте Networking > Private Endpoint Connections. Затем выделите вариант с именем dbt и нажмите Approve.

Создание подключения в dbt​

После завершения настройки в среде Databricks вы сможете настроить приватный эндпоинт в dbt:

  1. Перейдите в Settings → Create new project → выберите Databricks.
  2. Вы увидите две радиокнопки: Public и Private. Выберите Private.
  3. Выберите приватный эндпоинт из выпадающего списка (поле hostname/account будет заполнено автоматически).
  4. Настройте оставшиеся параметры платформы данных.
  5. Протестируйте подключение и сохраните его.

Нашли ошибку?

0
Loading