Настройка Microsoft Azure Synapse DWH

к сведению

Следующее руководство посвящено использованию выделенных SQL-пулов Azure Synapse Analytics, ранее известных как SQL DW. Для получения дополнительной информации обратитесь к Что такое выделенный SQL-пул (ранее SQL DW) в Azure Synapse Analytics?.

Обратитесь к Microsoft Fabric Synapse Data Warehouse, чтобы настроить его с dbt.

• Поддерживается: Microsoft
• Авторы: Microsoft (https://github.com/Microsoft)
• Репозиторий на GitHub: Microsoft/dbt-synapse
• Пакет на PyPI: dbt-synapse
• Канал в Slack: #db-synapse
• Поддерживаемая версия dbt Core: v0.18.0 и новее
• Поддержка dbt Cloud: Supported
• Минимальная версия платформы данных: Azure Synapse 10

Установка dbt-synapse

Используйте pip для установки адаптера. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с версии 1.8, установка адаптера не устанавливает автоматически dbt-core. Это связано с тем, что адаптеры и версии dbt Core были разделены, и мы больше не хотим перезаписывать существующие установки dbt-core. Используйте следующую команду для установки:

Конфигурация dbt-synapse

Для конфигурации, специфичной для Synapse, пожалуйста, обратитесь к конфигурациям Synapse.

Только выделенные SQL

Azure Synapse предлагает как выделенные SQL-пулы, так и серверные SQL-пулы. **Только выделенные SQL-пулы поддерживаются этим адаптером.

Предварительные требования

На Debian/Ubuntu убедитесь, что у вас есть заголовочные файлы ODBC перед установкой

sudo apt install unixodbc-dev

Скачайте и установите Microsoft ODBC Driver 18 для SQL Server. Если у вас уже установлен ODBC Driver 17, то он также будет работать.

Изменение настроек по умолчанию в dbt-synapse v1.2 / ODBC Driver 18

Microsoft внесла несколько изменений, связанных с шифрованием соединений. Подробнее об изменениях читайте здесь.

Методы аутентификации

Этот адаптер основан на адаптере для Microsoft SQL Server. Поэтому поддерживаются те же методы аутентификации.

Конфигурация такая же, за исключением одного важного отличия: вместо указания type: sqlserver, вы указываете type: synapse.

Пример:

profiles.yml

your_profile_name:
  target: dev
  outputs:
    dev:
      type: synapse
      driver: 'ODBC Driver 17 for SQL Server' # (ODBC Driver, установленный на вашей системе)
      server: workspacename.sql.azuresynapse.net # (Выделенный SQL-эндпоинт вашего рабочего пространства здесь)
      port: 1433
      database: exampledb
      schema: schema_name
      user: username
      password: password

Вы можете найти все доступные опции и документацию о том, как их настроить, на странице документации для адаптера dbt-sqlserver.