Перейти к основному содержимому

Настройка Athena

  • Поддерживается: dbt Labs
  • Авторы: dbt Labs
  • Репозиторий GitHub: dbt-labs/dbt-adapters
  • Пакет PyPI: dbt-athena
  • Канал в Slack: #db-athena
  • Поддерживаемая версия dbt Core: v1.3.0 и новее
  • Поддержка dbt: Supported
  • Минимальная версия платформы данных: engine version 2 and 3

Установка dbt-athena

Установите адаптер с помощью pip. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с 1.8 установка адаптера не устанавливает dbt-core автоматически. Это потому, что версии адаптеров и dbt Core были развязаны, и мы больше не хотим перезаписывать существующие установки dbt-core. Используйте следующую команду для установки:

python -m pip install dbt-core dbt-athena

Настройка dbt-athena

Конфигурацию, специфичную для Athena, см. на странице настроек Athena.

dbt-athena против dbt-athena-community

dbt-athena-community был адаптером, поддерживаемым сообществом, до тех пор пока dbt Labs не взяла на себя его сопровождение в конце 2024 года. Сейчас и dbt-athena, и dbt-athena-community поддерживаются dbt Labs, однако dbt-athena-community фактически является лишь обёрткой над dbt-athena, опубликованной для обеспечения обратной совместимости.

Подключение к Athena с помощью dbt-athena​

Этот плагин не принимает учетные данные напрямую. Вместо этого учетные данные определяются автоматически на основе соглашений AWS CLI/boto3 и сохраненной информации для входа. Вы можете настроить имя профиля AWS, которое будет использоваться, через aws_profile_name. Ознакомьтесь с конфигурацией профиля dbt ниже для получения подробной информации.

~/.dbt/profiles.yml
default:
  outputs:
    dev:
      type: athena
      s3_staging_dir: [s3_staging_dir]
      s3_data_dir: [s3_data_dir]
      s3_data_naming: [table_unique] # тип соглашения об именовании, используемый при записи в S3
      region_name: [region_name]
      database: [database name]
      schema: [dev_schema]
      aws_profile_name: [optional profile to use from your AWS shared credentials file.]
      threads: [1 or more]
      num_retries: [0 or more] # количество повторных попыток, выполняемых адаптером. По умолчанию 5
  target: dev

Пример конфигурации​

profiles.yml
default:
  outputs:
    dev:
      type: athena
      s3_staging_dir: s3://dbt_demo_bucket/athena-staging/
      s3_data_dir: s3://dbt_demo_bucket/dbt-data/
      s3_data_naming: schema_table 
      region_name: us-east-1
      database: warehouse 
      schema: dev
      aws_profile_name: demo
      threads: 4 
      num_retries: 3    
  target: dev

Нашли ошибку?

0
Loading