Перейти к основному содержимому

Настройка Microsoft Azure Synapse Analytics

к сведению

Ниже приведено руководство по использованию выделенных SQL-пулов Azure Synapse Analytics (ранее — SQL DW). Для получения дополнительной информации см. статью What is dedicated SQL pool (formerly SQL DW) in Azure Synapse Analytics?.

Инструкции по настройке dbt для Microsoft Fabric см. в разделе Microsoft Fabric Data Warehouse.

Обратитесь к Microsoft Fabric Synapse Data Warehouse, чтобы настроить его с dbt.

  • Поддерживается: Microsoft
  • Авторы: Microsoft (https://github.com/Microsoft)
  • Репозиторий GitHub: Microsoft/dbt-synapse
  • Пакет PyPI: dbt-synapse
  • Канал в Slack: #db-synapse
  • Поддерживаемая версия dbt Core: v0.18.0 и новее
  • Поддержка dbt: Supported
  • Минимальная версия платформы данных: Azure Synapse 10

Установка dbt-synapse

Установите адаптер с помощью pip. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с 1.8 установка адаптера не устанавливает dbt-core автоматически. Это потому, что версии адаптеров и dbt Core были развязаны, и мы больше не хотим перезаписывать существующие установки dbt-core. Используйте следующую команду для установки:

python -m pip install dbt-core dbt-synapse

Настройка dbt-synapse

Конфигурацию, специфичную для Synapse, см. на странице настроек Synapse.

Только выделенные SQL

Azure Synapse Analytics предлагает как dedicated SQL pools, так и serverless SQL pools.
Этим адаптером поддерживаются только Dedicated SQL Pools.

Предварительные требования​

На Debian/Ubuntu убедитесь, что у вас есть заголовочные файлы ODBC перед установкой

sudo apt install unixodbc-dev

Скачайте и установите Microsoft ODBC Driver 18 for SQL Server. Если у вас уже установлен ODBC Driver 17, его также можно использовать.

Изменение настроек по умолчанию в dbt-synapse v1.2 / ODBC Driver 18

Microsoft внесла несколько изменений, связанных с шифрованием соединений. Подробнее об изменениях читайте здесь.

Методы аутентификации​

Этот адаптер основан на адаптере для Microsoft SQL Server. Поэтому поддерживаются те же методы аутентификации.

Конфигурация такая же, за исключением одного важного отличия: вместо указания type: sqlserver, вы указываете type: synapse.

Пример:

profiles.yml
your_profile_name:
  target: dev
  outputs:
    dev:
      type: synapse
      driver: 'ODBC Driver 17 for SQL Server' # (ODBC Driver, установленный на вашей системе)
      server: workspacename.sql.azuresynapse.net # (Выделенный SQL-эндпоинт вашего рабочего пространства здесь)
      port: 1433
      database: exampledb
      schema: schema_name
      user: username
      password: password

Вы можете найти все доступные опции и документацию о том, как их настроить, на странице документации для адаптера dbt-sqlserver.

Нашли ошибку?

0
Loading