Перейти к основному содержимому

Настройка IBM Netezza

Адаптер dbt-ibm-netezza позволяет использовать dbt для трансформации и управления данными в IBM Netezza, используя возможности распределённого SQL-движка. Перед началом убедитесь, что у вас есть следующее:

  • Активный движок IBM Netezza с данными для подключения (host, port, database, schema и т.д.) в SaaS/PaaS.
  • Учётные данные для аутентификации: имя пользователя и пароль.

Обратитесь к разделу Configuring dbt-ibm-netezza для получения рекомендаций по получению и организации этих данных.

  • Поддерживается: IBM
  • Авторы: Abhishek Jog, Sagar Soni, Ayush Mehrotra
  • Репозиторий GitHub: IBM/nz-dbt
  • Пакет PyPI: dbt-ibm-netezza
  • Канал в Slack:
  • Поддерживаемая версия dbt Core: v1.9.2 и новее
  • Поддержка dbt: Not Supported
  • Минимальная версия платформы данных: 11.2.3.4

Установка dbt-ibm-netezza

Установите адаптер с помощью pip. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с 1.8 установка адаптера не устанавливает dbt-core автоматически. Это потому, что версии адаптеров и dbt Core были развязаны, и мы больше не хотим перезаписывать существующие установки dbt-core. Используйте следующую команду для установки:

python -m pip install dbt-core dbt-ibm-netezza

Настройка dbt-ibm-netezza

Конфигурацию, специфичную для IBM Netezza, см. на странице настроек IBM Netezza.

Подключение к IBM Netezza​

Чтобы подключить dbt к IBM Netezza, необходимо настроить профиль в файле profiles.yml, расположенном в каталоге .dbt/ вашего домашнего каталога. Ниже приведён пример конфигурации для подключения к экземплярам IBM Netezza:

~/.dbt/profiles.yml
my_project:
  outputs:
    dev:
      type: netezza
      user: [user]
      password: [password]
      host: [hostname]
      database: [catalog name]
      schema: [schema name]
      port: 5480
      threads: [1 or more]

  target: dev

Настройка параметров внешних таблиц​

Также необходимо настроить файл et_options.yml, расположенный в каталоге вашего проекта. Убедитесь, что файл корректно настроен перед запуском dbt seed. Это гарантирует, что данные будут загружены в таблицы в соответствии с параметрами, указанными во внешнем файле данных.

./et_options.yml
- !ETOptions
    SkipRows: "1"
    Delimiter: "','"
    DateDelim: "'-'"
    MaxErrors: " 0 "

Дополнительные параметры можно найти в разделе Netezza external tables option summary.

Параметры подключения (Host parameters)​

Для настройки подключения к IBM Netezza требуются следующие поля профиля.

OptionRequired/OptionalDescriptionExample
userRequiredИмя пользователя или адрес электронной почты для аутентификации.user
passwordRequiredПароль или API-ключ для аутентификации.password
hostRequiredИмя хоста для подключения к Netezza.127.0.0.1
databaseRequiredИмя каталога (catalog) в вашем экземпляре Netezza.SYSTEM
schemaRequiredИмя схемы в выбранном каталоге экземпляра Netezza.my_schema
portRequiredПорт для подключения к Netezza.5480
Loading table...

Схемы и базы данных​

При выборе базы данных и схемы убедитесь, что у пользователя есть права на чтение и запись в обеих. Этот выбор не ограничивает ваши возможности по выполнению запросов к базе данных. Вместо этого они используются как расположение по умолчанию, где будут материализовываться таблицы и представления.

Примечания:​

Адаптер dbt-ibm-netezza построен на Python-драйвере IBM Netezza — nzpy, который является обязательной зависимостью и устанавливается вместе с адаптером.

Нашли ошибку?

0
Loading