Перейти к основному содержимому

Настройка Databricks PrivateLink

Доступно только для определённых уровней Enterprise

Функция PrivateLink доступна на следующих уровнях dbt Cloud Enterprise:

  • Business Critical
  • Virtual Private

Чтобы узнать больше об этих уровнях, свяжитесь с нами по адресу sales@getdbt.com.

Следующие шаги помогут вам настроить конечную точку Databricks AWS PrivateLink или Azure Private Link в многопользовательской среде dbt Cloud.

Конечные точки PrivateLink не могут подключаться между различными облачными провайдерами. Для того чтобы соединение PrivateLink работало, как dbt Cloud, так и сервер (например, Databricks) должны быть размещены у одного и того же облачного провайдера. Например, dbt Cloud, размещенный на AWS, не может подключаться через PrivateLink к сервисам, размещенным на Azure, и dbt Cloud, размещенный на Azure, не может подключаться через PrivateLink к сервисам, размещенным на AWS.

  1. Найдите ваше имя экземпляра Databricks

    • Пример: cust-success.cloud.databricks.com

  2. Добавьте необходимую информацию в следующий шаблон и отправьте ваш запрос на AWS PrivateLink в поддержку dbt:

    Тема: Новый запрос на AWS Multi-Tenant PrivateLink
    - Тип: Databricks
    - Имя экземпляра Databricks:
    - Регион кластера Databricks AWS (например, us-east-1, eu-west-2):
    - Многопользовательская среда dbt Cloud (US, EMEA, AU):

    dbt Labs будет работать от вашего имени для завершения настройки PrivateLink. Пожалуйста, выделите 3-5 рабочих дней на завершение этого процесса. Поддержка свяжется с вами, когда конечная точка будет доступна.

  3. Как только поддержка dbt Cloud уведомит вас о завершении настройки, зарегистрируйте конечную точку VPC в Databricks и прикрепите её к рабочей области:

    warning

    Если вы используете существующую рабочую область Databricks, все рабочие нагрузки в этой области должны быть остановлены для включения Private Link. Рабочие нагрузки также не могут быть запущены в течение 20 минут после внесения изменений. Из документации Databricks:

    "После создания (или обновления) рабочей области подождите, пока она не станет доступной для использования или создания кластеров. Статус рабочей области остается RUNNING, и изменение VPC происходит немедленно. Однако вы не можете использовать или создавать кластеры в течение следующих 20 минут. Если вы создаете или используете кластеры до истечения этого временного интервала, кластеры не запускаются успешно, могут завершиться с ошибкой или вызвать другие неожиданные поведения."

  1. Перейдите в вашу рабочую область Azure Databricks. Формат пути: /subscriptions/<subscription_uuid>/resourceGroups/<resource_group_name>/providers/Microsoft.Databricks/workspaces/<workspace_name>.
  2. На странице обзора рабочей области нажмите JSON view.
  3. Скопируйте значение в поле resource_id.
  4. Добавьте необходимую информацию в следующий шаблон и отправьте ваш запрос на Azure Private Link в поддержку dbt: 
      Тема: Новый запрос на Azure Multi-Tenant Private Link
    - Тип: Databricks
    - Имя экземпляра Databricks:
    - Идентификатор ресурса Azure Databricks:
    - Многопользовательская среда dbt Cloud: EMEA
  5. Как только наша команда поддержки подтвердит, что ресурсы доступны в портале Azure, перейдите в рабочую область Azure Databricks и перейдите в Networking > Private Endpoint Connections. Затем выделите опцию с именем dbt и выберите Approve.

Создание подключения в dbt Cloud​

После завершения настройки в среде Databricks вы сможете настроить частную конечную точку в dbt Cloud:

  1. Перейдите в Settings → Create new project → выберите Databricks.
  2. Вы увидите две радиокнопки: Public и Private. Выберите Private.
  3. Выберите частную конечную точку из выпадающего списка (это автоматически заполнит поле hostname/account).
  4. Настройте оставшиеся детали платформы данных.
  5. Проверьте ваше подключение и сохраните его.
0
Отредактировать эту страницу