Настройка Databricks PrivateLink

Доступно на определённых уровнях Enterprise

Эта функция доступна на следующих уровнях dbt Enterprise:

• Enterprise+
• Virtual Private

Чтобы узнать больше об этих тарифах, свяжитесь с нами по адресу sales@getdbt.com.

Следующие шаги помогут вам настроить конечную точку Databricks AWS PrivateLink в многопользовательской среде dbt.

Конечные точки частного подключения не поддерживают соединения между разными облачными провайдерами (AWS, Azure и GCP). Чтобы частное подключение работало, и dbt, и сервер (например, Databricks) должны быть размещены у одного облачного провайдера. Например, dbt, размещённый в AWS, не может подключаться к сервисам, размещённым в Azure, а dbt, размещённый в Azure, не может подключаться к сервисам, размещённым в GCP.

Настройка AWS PrivateLink

Настроить конечную точку Databricks AWS PrivateLink можно двумя способами:

• Самостоятельная настройка частных конечных точек: создавайте конечные точки Databricks PrivateLink и управляйте ими непосредственно в пользовательском интерфейсе dbt platform. В настоящее время функция находится на стадии бета-тестирования.
• Настройка с помощью службы поддержки: обратитесь в службу поддержки dbt для настройки конечной точки Databricks PrivateLink.

Самостоятельная настройка частных конечных точек Бета-версия

Самостоятельная настройка частных конечных точек для Databricks в AWS в настоящее время находится на стадии бета-тестирования и доступна всем клиентам, соответствующим условиям доступа. Эта функция недоступна для Azure и GCP. Если в настройках вашего аккаунта нет раздела Private endpoints, воспользуйтесь настройкой с помощью службы поддержки.

При самостоятельной настройке вы запрашиваете конечную точку Databricks PrivateLink в dbt platform без обращения в службу поддержки. Если запрос завершится ошибкой, вы можете удалить конечную точку в dbt platform и самостоятельно повторить попытку.

Предварительные требования

• Набор разрешений Account admin или Project creator в dbt platform. Пользователи с лицензией IT также могут создавать частные конечные точки.
• Имя вашего рабочего пространства Databricks и регион AWS, в котором оно размещено.

Запрос новой частной конечной точки

1. В dbt platform перейдите в Account settings → Private endpoints.

2. В таблице Private endpoints просмотрите существующие конечные точки. В таблице отображаются все частные конечные точки вашего аккаунта (включая конечные точки, не относящиеся к Databricks) со следующими сведениями:

   • Name — имя
   • Connection type — тип подключения (например, Databricks)
   • URL — URL-адрес
   • Connectivity status — состояние подключения (например, Success или Unknown)
   • Connections — количество подключений dbt platform, использующих эту конечную точку

   Вы можете выполнять поиск по Name или URL.

   Таблица частных конечных точек с существующими конечными точками, состоянием подключения и кнопкой Request new

3. Чтобы запросить новую конечную точку, нажмите Request new.

4. В разделе Provider type выберите Databricks.

5. В разделе Step 1: Enter your workspace name вставьте полный URL рабочего пространства (например, my-workspace.cloud.databricks.com) или только его имя (например, my-workspace).

6. В разделе Step 2: Select your AWS region выберите регион AWS, в котором размещено ваше рабочее пространство Databricks. В списке представлены только регионы, поддерживающие частные подключения Databricks.

7. Нажмите Submit request.

   Форма запроса конечной точки Databricks с полями типа поставщика, имени рабочего пространства и региона AWS
   Имя рабочего пространства и регион нельзя изменить

   Имя рабочего пространства и регион AWS фиксируются при создании конечной точки. Это означает, что впоследствии их нельзя изменить. Если любое из этих значений указано неверно, создание ресурсов завершится ошибкой. Чтобы исправить это, удалите неудавшийся запрос и создайте новый с правильными данными. Обращаться в службу поддержки не требуется.

8. После отправки появится всплывающее окно подтверждения. В нем можно запросить еще одну конечную точку или вернуться в Private endpoints, чтобы отслеживать состояние запроса.

9. Перейдите на страницу Connections и выполните действия из раздела Создание подключения в dbt, чтобы настроить PrivateLink. После настройки PrivateLink на странице Connections новая конечная точка появится в разделе Private endpoints → Associated connections.

Распространение изменений DNS

Если проверка подключения завершается ошибкой сразу после настройки, это ожидаемо — это не означает, что что-то настроено неправильно. Распространение изменений DNS может занять несколько минут. Подождите несколько минут и повторите проверку, прежде чем обращаться в службу поддержки.

Повторное использование существующей конечной точки

Databricks предоставляет один предопределенный сервис конечных точек на каждый регион AWS. Если вы отправляете запрос для региона, в котором уже есть интерфейсная конечная точка, dbt platform отображает всплывающее окно Endpoint already exists с двумя вариантами:

• Re-use an existing interface endpoint (рекомендуется) — создает только новую частную конечную точку, связанную с выбранной вами интерфейсной конечной точкой. В большинстве случаев это предпочтительный вариант, поскольку Databricks использует один общий сервис конечных точек на регион, а повторное использование позволяет избежать дублирования инфраструктуры.
• Create a new interface endpoint — создает новую интерфейсную конечную точку вместе с новой частной конечной точкой. Используйте этот вариант, только если вам нужна отдельная интерфейсная конечная точка.

Выберите подходящий вариант и нажмите Confirm & Submit.

Всплывающее окно Endpoint already exists с вариантами создания новой интерфейсной конечной точки или повторного использования существующей

Изменение или удаление частной конечной точки

 Изменение или удаление частной конечной точки

Если вы не видите Edit или Delete endpoint, обратитесь к менеджеру вашего аккаунта, чтобы включить возможность изменения частных конечных точек для вашего аккаунта.

Изменение конечной точки

Вы можете изменить Name и Port конечной точки. Имя рабочего пространства и регион AWS нельзя изменить после создания.

1. В таблице Private endpoints нажмите на конечную точку, которую хотите изменить.
2. На странице сведений о конечной точке нажмите Edit.
3. При необходимости измените Name и/или Port.
4. Нажмите Save changes.
5. В модальном окне Save changes? нажмите Save changes, чтобы применить изменения.

Удаление конечной точки

Конечную точку со связанными подключениями удалить нельзя. Сначала удалите эти подключения.

1. В таблице Private endpoints нажмите на конечную точку, которую хотите удалить.
2. На странице сведений о конечной точке нажмите Edit.
3. Прокрутите страницу вниз и нажмите Delete endpoint.
4. В модальном окне Delete endpoint введите DELETE для подтверждения, затем нажмите Delete endpoint.

Устранение неполадок и ошибки

Если запрос конечной точки завершается ошибкой, dbt platform отображает сведения об ошибке, которыми можно безопасно делиться за пределами организации. Поскольку имя рабочего пространства и регион нельзя изменить после создания, неудавшийся запрос обычно означает, что одно из этих значений указано неверно — удалите запрос и отправьте новый с правильными данными.

Если вы видите состояние ошибки без четких указаний по дальнейшим действиям, соберите сведения о запросе (имя конечной точки, время создания и состояние) и обратитесь в службу поддержки dbt.

Настройка с помощью службы поддержки

Если раздел Private endpoints недоступен в настройках вашего аккаунта, настройте Databricks PrivateLink, выполнив следующие действия и отправив запрос в службу поддержки dbt.

1. Найдите имя вашего экземпляра Databricks.

   • Пример: cust-success.cloud.databricks.com

2. Добавьте необходимые сведения в следующий шаблон и отправьте запрос на AWS PrivateLink в службу поддержки dbt:

    Шаблон письма для обращения в службу поддержки

   Subject: New AWS Multi-Tenant PrivateLink Request
   
   - Type: Databricks
   - dbt platform account URL:
   - Databricks instance name:
   - Databricks cluster AWS Region (for example, us-east-1, eu-west-2):
   - dbt AWS multi-tenant environment (US, EMEA, AU, JP):

   Сообщить об ошибке в коде

   dbt Labs выполнит настройку приватного подключения от вашего имени. Пожалуйста, заложите 3–5 рабочих дней на завершение этого процесса. Служба поддержки свяжется с вами, когда конечная точка (endpoint) будет доступна.

3. После того как служба поддержки dbt сообщит о завершении настройки, зарегистрируйте конечную точку VPC в Databricks и привяжите ее к рабочему пространству:

   • Зарегистрируйте конечную точку VPC — зарегистрируйте конечную точку VPC, используя идентификатор конечной точки VPC, предоставленный службой поддержки dbt.
   • Создайте объект Private Access Settings — создайте объект Private Access Settings (PAS) с нужными настройками публичного доступа и задайте для Private Access Level значение Endpoint. Выберите зарегистрированную конечную точку, созданную на предыдущем шаге.
   • Создайте или обновите рабочее пространство — создайте рабочее пространство или обновите существующее. В разделе Advanced configurations → Private Link выберите объект настроек частного доступа, созданный на предыдущем шаге.
   warning

   Если вы используете существующее рабочее пространство Databricks, для включения Private Link необходимо остановить все выполняющиеся в нем рабочие нагрузки. После внесения изменений рабочие нагрузки также нельзя запускать еще в течение 20 минут. Из документации Databricks:

   «После создания (или обновления) рабочего пространства дождитесь, пока оно станет доступно для использования или создания кластеров. Рабочее пространство остается в состоянии RUNNING, а изменение VPC происходит немедленно. Однако использовать или создавать кластеры нельзя еще в течение 20 минут. Если вы создадите или начнете использовать кластеры до истечения этого интервала, они могут не запуститься, завершиться с ошибкой или вызвать другое непредвиденное поведение».

Создание подключения в dbt

После завершения настройки вы можете настроить частную конечную точку в dbt:

1. Перейдите в Account Settings → Projects → Create new project.
2. В разделе Configure your development environment step выберите Add new connection.
3. Вы перейдёте на страницу Add new connection. Выберите Databricks.
4. В разделе Settings выберите PrivateLink Endpoint.
5. Выберите частную конечную точку из раскрывающегося списка (поле имени хоста/учётной записи заполнится автоматически).
6. Настройте остальные параметры платформы данных.
7. Проверьте подключение и сохраните его.

Нашли ошибку?

Создать GitHub Issue