Подключение Amazon Athena
Ваши окружения должны находиться на поддерживаемой версии, чтобы использовать подключение Amazon Athena.
Подключите dbt Cloud к интерактивному сервису запросов Amazon Athena для создания вашего проекта dbt. Ниже приведены обязательные и необязательные поля для настройки подключения Athena:
| Поле | Опция | Описание | Тип | Обязательно? | Пример |
|---|---|---|---|---|---|
| Имя региона AWS | region_name | Регион AWS вашего экземпляра Athena | Строка | Обязательно | eu-west-1 |
| База данных (каталог) | database | Укажите базу данных (каталог данных) для создания моделей (только строчные буквы) | Строка | Обязательно | awsdatacatalog |
| Каталог S3 для промежуточных данных | s3_staging_dir | Местоположение S3 для хранения результатов запросов Athena и метаданных | Строка | Обязательно | s3://bucket/dbt/ |
| Рабочая группа Athena | work_group | Идентификатор рабочей группы Athena | Строка | Необязательно | my-custom-workgroup |
| Рабочая группа Athena Spark | spark_work_group | Идентификатор рабочей группы Athena Spark для выполнения моделей на Python | Строка | Необязательно | my-spark-workgroup |
| Каталог данных AWS S3 | s3_data_dir | Префикс для хранения таблиц, если отличается от s3_staging_dir подключения | Строка | Необязательно | s3://bucket2/dbt/ |
| Конвенция именования данных AWS S3 | s3_data_naming | Как генерировать пути таблиц в s3_data_dir | Строка | Необязательно | schema_table_unique |
| Префикс временных таблиц AWS S3 | s3_tmp_table_dir | Префикс для хранения временных таблиц, если отличается от s3_data_dir подключения | Строка | Необязательно | s3://bucket3/dbt/ |
| Интервал опроса | poll_interval | Интервал в секундах для опроса статуса результатов запросов в Athena | Целое число | Необязательно | 5 |
| Повторы запросов | num_retries | Количество попыток повторного выполнения неудачного запроса | Целое число | Необязательно | 3 |
| Повторы Boto3 | num_boto3_retries | Количество попыток повторного выполнения запросов boto3 (например, удаление файлов S3 для материализованных таблиц) | Целое число | Необязательно | 5 |
| Повторы Iceberg | num_iceberg_retries | Количество попыток повторного выполнения запросов фиксации iceberg для исправления ICEBERG_COMMIT_ERROR | Целое число | Необязательно | 0 |
Учетные данные для разработки
Введите ваши учетные данные для разработки (не для развертывания) с использованием следующих полей:
| Поле | Опция | Описание | Тип | Обязательно | Пример |
|---|---|---|---|---|---|
| Идентификатор ключа доступа AWS | aws_access_key_id | Идентификатор ключа доступа пользователя, выполняющего запросы | Строка | Обязательно | AKIAIOSFODNN7EXAMPLE |
| Секретный ключ доступа AWS | aws_secret_access_key | Секретный ключ доступа пользователя, выполняющего запросы | Строка | Обязательно | wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY |
| Схема | schema | Укажите схему (базу д анных Athena) для создания моделей (только строчные буквы) | Строка | Обязательно | dbt |
| Потоки | threads | Целое число | Необязательно | 3 |
0