Настройка IBM watsonx.data Presto
Адаптер dbt-watsonx-presto позволяет использовать dbt для трансформации и управления данными в IBM watsonx.data Presto (Java), используя возможности его распределённого SQL-движка запросов. Перед началом убедитесь, что у вас есть следующее:
- Активный движок IBM watsonx.data Presto (Java) с параметрами подключения (host, port, catalog, schema) в SaaS или Software.
- Учётные данные для аутентификации: имя пользователя и пароль или API key.
- Для экземпляров watsonx.data требуется SSL‑проверка для безопасных подключений. Если хост экземпляра использует HTTPS, указывать параметр SSL‑сертификата не требуется. Однако если хост использует небезопасное HTTP‑подключение, необходимо указать путь к файлу SSL‑сертификата.
См. руководство Configuring dbt-watsonx-presto для получения инструкций по получению и организации этих данных.
- Поддерживается: IBM
- Авторы: Karnati Naga Vivek, Hariharan Ashokan, Biju Palliyath, Gopikrishnan Varadarajulu, Rohan Pednekar
- Репозиторий GitHub: IBM/dbt-watsonx-presto
- Пакет PyPI:
dbt-watsonx-presto
- Канал в Slack: #db-watsonx-presto
- Поддерживаемая версия dbt Core: v1.8.0 и новее
- Поддержка dbt: Not Supported
- Минимальная версия платформы данных: n/a
Установка dbt-watsonx-presto
Установите адаптер с помощью pip. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с 1.8 установка адаптера не устанавливает dbt-core автоматически. Это потому, что версии адаптеров и dbt Core были развязаны, и мы больше не хотим перезаписывать существующие установки dbt-core.
Используйте следующую команду для установки:
python -m pip install dbt-core dbt-watsonx-presto
Настройка dbt-watsonx-presto
Конфигурацию, специфичную для IBM watsonx.data, см. на странице настроек IBM watsonx.data.
Подключение к IBM watsonx.data Presto
Чтобы подключить dbt к watsonx.data Presto (Java), необходимо настроить профиль в файле profiles.yml, который находится в каталоге .dbt/ вашей домашней директории. Ниже приведён пример конфигурации для подключения к экземплярам IBM watsonx.data SaaS и Software:
my_project:
outputs:
software:
type: watsonx_presto
method: BasicAuth
user: [user]
password: [password]
host: [hostname]
catalog: [catalog_name]
schema: [your dbt schema]
port: [port number]
threads: [1 or more]
ssl_verify: path/to/certificate
saas:
type: watsonx_presto
method: BasicAuth
user: [user]
password: [api_key]
host: [hostname]
catalog: [catalog_name]
schema: [your dbt schema]
port: [port number]
threads: [1 or more]
target: software
Параметры хоста
Следующие поля профиля необходимы для настройки подключения к watsonx.data Presto (Java). Для экземпляров IBM watsonx.data SaaS или Software вы можете получить значения hostname и port, нажав View connect details на странице сведений о движке Presto (Java).
| Loading table... |
Схемы и базы данных
При выборе каталога и схемы убедитесь, что у пользователя есть права на чтение и запись для обоих. Этот выбор не ограничивает вашу возможность выполнять запросы к каталогу. Вместо этого они служат местом по умолчанию, где будут материализовываться таблицы и представления. Кроме того, используемый в каталоге коннектор Presto должен поддерживать создание таблиц. Это значение по умолчанию можно изменить позже в рамках проекта dbt.
Проверка SSL
- Если экземпляр Presto использует небезопасное HTTP‑подключение, необходимо установить
ssl_verifyв путь к файлу SSL‑сертификата. - Если экземпляр использует
HTTPS, этот параметр не требуется и может быть опущен.
Дополнительные параметры
Следующие поля профиля являются необязательными. Они позволяют настроить сессию экземпляра и параметры dbt для подключения.
| Loading table... |
