# Конфигурации Cloudera Impala

## Конфигурирование таблиц

При материализации модели как `table`, вы можете включить несколько дополнительных конфигураций, которые специфичны для плагина dbt-impala, в дополнение к стандартным [конфигурациям моделей](https://docs.getdbt.tech/reference/model-configs.md).

| Опция               | Описание                                                                         | Обязательно? | Пример                                                   |
| ------------------- | -------------------------------------------------------------------------------- | ------------ | -------------------------------------------------------- |
| partition\_by       | секционирование по столбцу; обычно для каждой секции создаётся отдельный каталог | Нет          | partition\_by=\['name']                                  |
| sort\_by            | сортировка по столбцу                                                            | Нет          | sort\_by=\['age']                                        |
| row\_format         | формат для хранения отдельных строк                                              | Нет          | row\_format='delimited'                                  |
| stored\_as          | базовый формат хранения таблицы                                                  | Нет          | stored\_as='PARQUET'                                     |
| location            | расположение хранилища, обычно путь в HDFS                                       | Нет          | LOCATION='/user/etl/destination'                         |
| comment             | комментарий к таблице                                                            | Нет          | comment='this is the cleanest model'                     |
| serde\_properties   | свойства SerDes (сериализации и десериализации) таблицы                          | Нет          | serde\_properties="('quoteChar'=''', 'escapeChar'='\\')" |
| tbl\_properties     | любые метаданные можно хранить вместе с таблицей в виде пар ключ/значение        | Нет          | tbl\_properties="('dbt\_test'='1')"                      |
| is\_cached          | true или false — указывает, кэшируется ли эта таблица                            | Нет          | is\_cached=false (по умолчанию)                          |
| cache\_pool         | имя пула кэша, используемого, если is\_cached имеет значение true                | Нет          |                                                          |
| replication\_factor | коэффициент репликации кэша, используемый, если is\_cached имеет значение true   | Нет          |                                                          |
| external            | является ли таблица внешней — true / false                                       | Нет          | external=true                                            |
| table\_type         | указывает тип таблицы — iceberg / kudu                                           | Нет          | table\_type="iceberg"                                    |

Для специфичных для Cloudera опций вышеуказанных параметров смотрите документацию CREATE TABLE (<https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/impala_create_table.html>)

## Инкрементальные модели

Поддерживаемые режимы для инкрементальной модели:

* **`append`** (по умолчанию): Вставка новых записей без обновления или перезаписи существующих данных.
* **`insert_overwrite`**: Для новых записей вставка данных. При использовании вместе с разделом partition обновление данных для измененной записи и вставка данных для новых записей.

Неподдерживаемые режимы:

* **`unique_key`** Эта опция не поддерживается для инкрементальных моделей в dbt-impala
* **`merge`**: Операция Merge не поддерживается используемым хранилищем данных, поэтому она также не поддерживается в dbt-impala

## Пример: использование параметра конфигурации partition\_by

impala\_partition\_by.sql

```sql
{{
    config(
        materialized='table',
        unique_key='id',
        partition_by=['city'],
    )
}}

with source_data as (
     select 1 as id, "Name 1" as name, "City 1" as city,
     union all
     select 2 as id, "Name 2" as name, "City 2" as city,
     union all
     select 3 as id, "Name 3" as name, "City 2" as city,
     union all
     select 4 as id, "Name 4" as name, "City 1" as city,
)

select * from source_data
```

В приведенном выше примере создается пример таблицы с использованием partition\_by и других опций конфигурации. Одно из важных замечаний при использовании опции partition\_by заключается в том, что в запросе select всегда должен быть указан столбец, используемый в опции partition\_by, последним, как это видно для столбца `city` в приведенном выше запросе. Если раздел partition\_by не совпадает с последним столбцом в операторе select, Impala выдаст ошибку при попытке создать модель.
