Перейти к основному содержимому

Подключение Microsoft Azure Synapse Analytics к dbt v1

к сведению

Ниже приведено руководство по использованию выделенных SQL-пулов Azure Synapse Analytics (ранее — SQL DW). Для получения дополнительной информации см. статью What is dedicated SQL pool (formerly SQL DW) in Azure Synapse Analytics?.

Инструкции по настройке Microsoft Fabric для работы с dbt см. в разделе Хранилище данных Microsoft Fabric.

Обратитесь к Microsoft Fabric Synapse Data Warehouse, чтобы настроить его с dbt.

  • Поддерживается: Microsoft
  • Авторы: Microsoft (https://github.com/Microsoft)
  • Репозиторий GitHub: Microsoft/dbt-synapse
  • Пакет PyPI: dbt-synapse
  • Канал Slack: #db-synapse
  • Поддерживаемая версия dbt: v0.18.0 и новее
  • Поддержка dbt: Supported
  • Минимальная версия платформы данных: Azure Synapse 10

Установка dbt-synapse

Установите адаптер с помощью `pip`: python -m pip install dbt-synapse

Настройка dbt-synapse

Конфигурацию, специфичную для Synapse, см. на странице настроек Synapse.

Только выделенные SQL

Azure Synapse Analytics предлагает как dedicated SQL pools, так и serverless SQL pools.
Этим адаптером поддерживаются только Dedicated SQL Pools.

Предварительные требования​

На Debian/Ubuntu убедитесь, что у вас есть заголовочные файлы ODBC перед установкой

sudo apt install unixodbc-dev

Скачайте и установите Microsoft ODBC Driver 18 for SQL Server. Если у вас уже установлен ODBC Driver 17, его также можно использовать.

Изменения настроек по умолчанию в dbt-synapse v1.2 / ODBC Driver 18

Microsoft внесла несколько изменений, связанных с шифрованием соединений. Подробнее об изменениях читайте здесь.

Методы аутентификации​

Этот адаптер основан на адаптере для Microsoft SQL Server. Поэтому поддерживаются те же методы аутентификации.

Конфигурация такая же, за исключением одного важного отличия: вместо указания type: sqlserver, вы указываете type: synapse.

Пример:

profiles.yml
your_profile_name:
  target: dev
  outputs:
    dev:
      type: synapse
      driver: 'ODBC Driver 17 for SQL Server' # (ODBC Driver, установленный на вашей системе)
      server: workspacename.sql.azuresynapse.net # (Выделенный SQL-эндпоинт вашего рабочего пространства здесь)
      port: 1433
      database: exampledb
      schema: schema_name
      user: username
      password: password

Все доступные параметры, их описание и инструкции по настройке можно найти на странице документации адаптера dbt-sqlserver.

Нашли ошибку?

0
Loading