Перейти к основному содержимому

Настройка Databricks и Azure Private Link

Доступно на определённых уровнях Enterprise

Эта функция доступна на следующих уровнях dbt Enterprise:

  • Enterprise+
  • Virtual Private

Чтобы узнать больше об этих тарифах, свяжитесь с нами по адресу sales@getdbt.com.

Следующие шаги помогут настроить частную конечную точку Azure Private Link для Databricks в мультитенантной среде dbt.

Конечные точки частного подключения не поддерживают соединения между разными облачными провайдерами (AWS, Azure и GCP). Чтобы частное подключение работало, и dbt, и сервер (например, Databricks) должны быть размещены у одного облачного провайдера. Например, dbt, размещённый в AWS, не может подключаться к сервисам, размещённым в Azure, а dbt, размещённый в Azure, не может подключаться к сервисам, размещённым в GCP.

Требуется внедрение в VNet

Azure поддерживает частные конечные точки для рабочих областей Databricks только в том случае, если рабочая область использует внедрение в VNet (виртуальную сеть, управляемую клиентом). Рабочие области в стандартной виртуальной сети, управляемой Azure, отклоняют подключения к частным конечным точкам с ошибкой NonVNetInjectedWorkspaceNotSupported.

Перед отправкой запроса убедитесь, что ваша рабочая область использует внедрение в VNet. Если это не так, сначала создайте новую рабочую область с включённым внедрением в VNet. Дополнительные сведения см. в разделе Развёртывание Azure Databricks в собственной виртуальной сети.

  1. Перейдите в свою рабочую область Azure Databricks. Формат пути: /subscriptions/<subscription_uuid>/resourceGroups/<resource_group_name>/providers/Microsoft.Databricks/workspaces/<workspace_name>.

  2. На странице обзора рабочей области нажмите JSON view.

  3. Скопируйте значение поля resource_id.

  4. Добавьте необходимые сведения в следующий шаблон и отправьте запрос на Azure Private Link в службу поддержки dbt:

     Шаблон письма с запросом в службу поддержки
    Subject: New Azure Multi-Tenant Private Link Request

    - Type: Databricks
    - dbt platform account URL:
    - Databricks instance name:
    - Azure Databricks Workspace URL (for example, adb-################.##.azuredatabricks.net)
    - Databricks Azure resource ID: /subscriptions/SUB_ID/resourceGroups/RG/providers/Microsoft.Databricks/workspaces/WORKSPACE_NAME
      - Use the full ARM resource ID, replacing SUB_ID, RG, and WORKSPACE_NAME with your values
    - dbt Azure multi-tenant environment (US or EMEA):
    - Azure Databricks workspace region (for example, WestEurope, NorthEurope)

    dbt Labs выполнит настройку приватного подключения от вашего имени. Пожалуйста, заложите 3–5 рабочих дней на завершение этого процесса. Служба поддержки свяжется с вами, когда конечная точка (endpoint) будет доступна.

  5. Когда наша служба поддержки подтвердит, что ресурсы доступны на портале Azure, перейдите в рабочую область Azure Databricks и откройте Networking > Private Endpoint Connections. Затем выделите элемент с именем dbt и выберите Approve.

    Влияние на DNS при одобрении первой частной конечной точки

    Одобрение первого подключения к частной конечной точке для рабочей области Azure Databricks изменяет разрешение DNS для этой рабочей области. Azure добавляет DNS-запись типа A для privatelink.azuredatabricks.net, которая перенаправляет URL рабочей области на частный IP-адрес вместо общедоступной конечной точки.

    Любые клиенты, включая другие проекты платформы dbt, инструменты или пользователей, которые подключаются к этой рабочей области через общедоступный интернет, могут потерять подключение после этого изменения. Перед одобрением согласуйте это изменение со всеми командами, использующими рабочую область. Дополнительные сведения см. в разделе Настройка зон DNS для служб Azure.

Создание подключения в dbt​

Завершив настройку в среде Databricks, вы можете настроить частную конечную точку в dbt:

  1. Перейдите в Account Settings → Projects → Create new project.
  2. В разделе Configure your development environment step выберите Add new connection.
  3. Вы перейдёте на страницу Add new connection. Выберите Databricks.
  4. В разделе Settings выберите PrivateLink Endpoint.
  5. Выберите частную конечную точку из раскрывающегося списка (поле имени хоста/учётной записи заполнится автоматически).
  6. Настройте остальные параметры платформы данных.
  7. Проверьте подключение и сохраните его.

Нашли ошибку?

0
Loading