Перейти к основному содержимому

Подключение Amazon Athena

Ваши окружения должны находиться на поддерживаемой версии, чтобы использовать подключение Amazon Athena.

Подключите dbt к интерактивному сервису запросов Amazon Athena, чтобы создать свой dbt‑проект. Ниже перечислены обязательные и необязательные поля для настройки подключения к Athena:

FieldOptionDescriptionTypeRequired?Example
AWS region nameregion_nameРегион AWS, в котором развернут ваш экземпляр AthenaStringRequiredeu-west-1
Database (catalog)databaseУкажите базу данных (Data Catalog), в которую будут собираться модели (только в нижнем регистре)StringRequiredawsdatacatalog
AWS S3 staging directorys3_staging_dirS3‑расположение для хранения результатов запросов Athena и метаданныхStringRequireds3://bucket/dbt/
Athena workgroupwork_groupИдентификатор workgroup в AthenaStringOptionalmy-custom-workgroup
Athena Spark workgroupspark_work_groupИдентификатор Athena Spark workgroup для запуска Python‑моделейStringOptionalmy-spark-workgroup
AWS S3 data directorys3_data_dirПрефикс для хранения таблиц, если он отличается от s3_staging_dir подключенияStringOptionals3://bucket2/dbt/
AWS S3 data naming conventions3_data_namingСпособ генерации путей к таблицам в s3_data_dirStringOptionalschema_table_unique
AWS S3 temp tables prefixs3_tmp_table_dirПрефикс для хранения временных таблиц, если он отличается от s3_data_dir подключенияStringOptionals3://bucket3/dbt/
Poll intervalpoll_intervalИнтервал в секундах для опроса статуса выполнения запросов в AthenaIntegerOptional5
Query retriesnum_retriesКоличество попыток повторного выполнения запроса в случае ошибкиIntegerOptional3
Boto3 retriesnum_boto3_retriesКоличество повторных попыток для запросов boto3 (например, при удалении файлов S3 для материализованных таблиц)IntegerOptional5
Iceberg retriesnum_iceberg_retriesКоличество повторных попыток выполнения iceberg commit‑запросов для исправления ICEBERG_COMMIT_ERRORIntegerOptional0
Loading table...

Учетные данные для разработки

Введите ваши учетные данные для разработки (не для развертывания) с использованием следующих полей:

ПолеОпцияОписаниеТипОбязательноПример
Идентификатор ключа доступа AWSaws_access_key_idИдентификатор ключа доступа пользователя, выполняющего запросыСтрокаОбязательноAKIAIOSFODNN7EXAMPLE
Секретный ключ доступа AWSaws_secret_access_keyСекретный ключ доступа пользователя, выполняющего запросыСтрокаОбязательноwJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
СхемаschemaУкажите схему (базу данных Athena) для создания моделей (только строчные буквы)СтрокаОбязательноdbt
ПотокиthreadsЦелое числоНеобязательно3
Loading table...

Нашли ошибку?

0
Loading