Перейти к основному содержимому

external

models/<filename>.yml

sources:
- name: <source_name>
tables:
- name: <table_name>
external:
location: <string>
file_format: <string>
row_format: <string>
tbl_properties: <string>
partitions:
- name: <column_name>
data_type: <string>
description: <string>
meta: {dictionary}
- ...
<additional_property>: <additional_value>

Определение​

Используйте external для источника, чтобы описать таблицу, которая читает файлы из облачного хранилища, например S3 или GCS. dbt сохраняет эти свойства в манифесте, а пакет dbt-external-tables использует их для создания таблицы в вашем хранилище данных. Доступны необязательные встроенные свойства с простой проверкой типов, которые в общих чертах соответствуют спецификации внешних таблиц Hive (таблица).

dbt не проверяет большинство этих свойств, поэтому вы также можете добавлять собственные.

Вы можете захотеть определить свойство external, чтобы:

  • Поддерживать макросы, которые анализируют graph.sources
  • Определять метаданные, которые вы сможете позже извлечь из manifest

Пример использования этого свойства для реализации пользовательских рабочих процессов см. в пакете dbt-external-tables.

Партиции​

Партиция — это столбец, значение которого определяется путём к папке файла, например dt в events/dt=2025-01-01/. Объявление партиции позволяет вашей платформе данных пропускать папки, к которым вы не обращаетесь в запросе.

Необходимые свойства зависят от вашей платформы данных. Например:

Платформа данныхСвойства
Snowflakename, data_type, expression
BigQueryname, data_type
Redshiftname, data_type, vals, path_macro
Sparkname

Полный список см. в примерах источников dbt-external-tables.

к сведению

Размещайте meta непосредственно в определении партиции. dbt не переносит его в config для external, а dbt-external-tables не считывает config.meta.

Примеры​

Следующие примеры показывают внешнюю таблицу на основе файлов событий в облачном хранилище с партиционированием по дате (обратите внимание, что свойства партиций различаются в зависимости от платформы данных).

sources:
- name: snowplow
tables:
- name: event_ext_tbl
external:
location: "@raw.snowplow.snowplow" # существующая внешняя промежуточная область
file_format: "( type = json )"
auto_refresh: true
partitions:
- name: collector_hour
data_type: timestamp
expression: to_timestamp(substr(metadata$filename, 8, 13), 'YYYY/MM/DD/HH24')

metadata$filename — это путь к файлу. Выражение expression извлекает из него час.

Нашли ошибку?

0
Loading