Перейти к основному содержимому

Конфигурации Cloudera Impala

Конфигурирование таблиц​

При материализации модели как table, вы можете включить несколько дополнительных конфигураций, которые специфичны для плагина dbt-impala, в дополнение к стандартным конфигурациям моделей.

ОпцияОписаниеОбязательно?Пример
partition_byсекционирование по столбцу; обычно для каждой секции создаётся отдельный каталогНетpartition_by=['name']
sort_byсортировка по столбцуНетsort_by=['age']
row_formatформат для хранения отдельных строкНетrow_format='delimited'
stored_asбазовый формат хранения таблицыНетstored_as='PARQUET'
locationрасположение хранилища, обычно путь в HDFSНетLOCATION='/user/etl/destination'
commentкомментарий к таблицеНетcomment='this is the cleanest model'
serde_propertiesсвойства SerDes (сериализации и десериализации) таблицыНетserde_properties="('quoteChar'=''', 'escapeChar'='\')"
tbl_propertiesлюбые метаданные можно хранить вместе с таблицей в виде пар ключ/значениеНетtbl_properties="('dbt_test'='1')"
is_cachedtrue или false — указывает, кэшируется ли эта таблицаНетis_cached=false (по умолчанию)
cache_poolимя пула кэша, используемого, если is_cached имеет значение trueНет
replication_factorкоэффициент репликации кэша, используемый, если is_cached имеет значение trueНет
externalявляется ли таблица внешней — true / falseНетexternal=true
table_typeуказывает тип таблицы — iceberg / kuduНетtable_type="iceberg"

Для специфичных для Cloudera опций вышеуказанных параметров смотрите документацию CREATE TABLE (https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/impala_create_table.html)

Инкрементальные модели​

Поддерживаемые режимы для инкрементальной модели:

  • append (по умолчанию): Вставка новых записей без обновления или перезаписи существующих данных.
  • insert_overwrite: Для новых записей вставка данных. При использовании вместе с разделом partition обновление данных для измененной записи и вставка данных для новых записей.

Неподдерживаемые режимы:

  • unique_key Эта опция не поддерживается для инкрементальных моделей в dbt-impala
  • merge: Операция Merge не поддерживается используемым хранилищем данных, поэтому она также не поддерживается в dbt-impala

Пример: использование параметра конфигурации partition_by​

impala_partition_by.sql
{{
config(
materialized='table',
unique_key='id',
partition_by=['city'],
)
}}

with source_data as (
select 1 as id, "Name 1" as name, "City 1" as city,
union all
select 2 as id, "Name 2" as name, "City 2" as city,
union all
select 3 as id, "Name 3" as name, "City 2" as city,
union all
select 4 as id, "Name 4" as name, "City 1" as city,
)

select * from source_data

В приведенном выше примере создается пример таблицы с использованием partition_by и других опций конфигурации. Одно из важных замечаний при использовании опции partition_by заключается в том, что в запросе select всегда должен быть указан столбец, используемый в опции partition_by, последним, как это видно для столбца city в приведенном выше запросе. Если раздел partition_by не совпадает с последним столбцом в операторе select, Impala выдаст ошибку при попытке создать модель.

Нашли ошибку?

0
Loading