Подключение Apache Spark
dbt-databricksЕсли вы используете Databricks, рекомендуется использовать адаптер dbt-databricks вместо dbt-spark. Если вы все еще используете dbt-spark с Databricks, рассмотрите возможность миграции с адаптера dbt-spark на адаптер dbt-databricks.
Для версии этой страницы для Databricks обратитесь к разделу Настройка Databricks.
См. Подключение Databricks для версии этой страницы для Databricks.
dbt Cloud поддерживает подключение к кластеру Apache Spark с использованием метода HTTP или метода Thrift. Примечание: хотя метод HTTP может использоваться для подключения к универсальному кластеру Databricks, для всех подключений к Databricks рекомендуется использовать метод ODBC. Для получения дополнительной информации о настройке этих параметров подключения, пожалуйста, ознакомьтесь с документацией dbt-spark.
Чтобы узнать, как оптимизировать производительность с помощью специфичных для платформы данных конфигураций в dbt Cloud, обратитесь к конфигурации, специфичной для Apache Spark.
Следующие поля доступны при создании подключения Apache Spark с использованием методов подключения HTTP и Thrift:
| Поле | Описание | Примеры |
|---|---|---|
| Host Name | Имя хоста кластера Spark для подключения | yourorg.sparkhost.com |
| Port | Порт для подключения к Spark | 443 |
| Organization | Необязательно (по умолчанию: 0) | 0123456789 |
| Cluster | ID кластера для подключения | 1234-567890-abc12345 |
| Connection Timeout | Количество секунд до истечения времени ожидания подключения | 10 |
| Connection Retries | Количество попыток подключения к кластеру перед отказом | 10 |
| User | Необязательно | dbt_cloud_user |
| Auth | Необязательно, укажите, если используется Kerberos | KERBEROS |
| Kerberos Service Name | Необязательно, укажите, если используется Kerberos | hive |
Настройка подключения Spark