Перейти к основному содержимому

Конфигурации Oracle

(Версии dbt: v1.3.2 и новее)

Использование подсказки parallel​

Материализация таблицы поддерживает указание количества параллельных выполнений, как показано ниже

-- Создание модели dbt с использованием 4 параллельных выполнений
{{config(materialized='table', parallel=4}}
SELECT c.cust_id, c.cust_first_name, c.cust_last_name
from {{ source('sh_database', 'customers') }} c

Использование table_compression_clause​

Материализация таблицы поддерживает различные компрессионные клаузы, как показано ниже

Расширенное сжатие строк​

При включенном расширенном сжатии база данных Oracle поддерживает сжатие во время всех типов операций манипуляции данными, включая обычные DML, такие как INSERT и UPDATE. ROW STORE COMPRESS ADVANCED рекомендуется в системах OLTP.

-- Расширенное сжатие строк
{{config(materialized='table', table_compression_clause='ROW STORE COMPRESS ADVANCED')}}
SELECT c.cust_id, c.cust_first_name, c.cust_last_name
from {{ source('sh_database', 'customers') }} c

Гибридное колонное сжатие​

Запросы​

COLUMN STORE COMPRESS FOR QUERY полезно в средах хранилищ данных. Допустимые значения — HIGH или LOW, при этом HIGH обеспечивает более высокий коэффициент сжатия. По умолчанию используется HIGH.

{{config(materialized='table', table_compression_clause='COLUMN STORE COMPRESS FOR QUERY LOW')}}
SELECT c.cust_id, c.cust_first_name, c.cust_last_name
from {{ source('sh_database', 'customers') }} c

или

{{config(materialized='table', table_compression_clause='COLUMN STORE COMPRESS FOR QUERY HIGH')}}
SELECT c.cust_id, c.cust_first_name, c.cust_last_name
from {{ source('sh_database', 'customers') }} c

Архивирование​

COLUMN STORE COMPRESS FOR ARCHIVE поддерживает более высокий коэффициент сжатия, чем COLUMN STORE COMPRESS FOR QUERY, и полезно для архивирования. Допустимые значения — HIGH или LOW, при этом HIGH обеспечивает самый высокий коэффициент сжатия. По умолчанию используется LOW.

{{config(materialized='table', table_compression_clause='COLUMN STORE COMPRESS FOR ARCHIVE LOW')}}
SELECT c.cust_id, c.cust_first_name, c.cust_last_name
from {{ source('sh_database', 'customers') }} c

или

{{config(materialized='table', table_compression_clause='COLUMN STORE COMPRESS FOR ARCHIVE HIGH')}}
SELECT c.cust_id, c.cust_first_name, c.cust_last_name
from {{ source('sh_database', 'customers') }} c

Партиционирование​

Конфигурация материализации таблицы и инкрементальной материализации поддерживает добавление партиционной клаузулы:

{
config(
materialized='incremental',
unique_key='group_id',
parallel=4,
partition_config={"clause": "PARTITION BY HASH(PROD_NAME) PARTITIONS 4"},
table_compression_clause='COLUMN STORE COMPRESS FOR QUERY LOW')
}}
SELECT *
FROM {{ source('sh_database', 'sales') }}

Информация о сеансе в v$session​

Пользовательскую информацию о сеансе можно указать в параметре session_info в файле profiles.yml

Пользовательская информация о сессии может быть указана в session_info в profile.yml

dbt_test:
target: dev
outputs:
dev:
type: oracle
user: "{{ env_var('DBT_ORACLE_USER') }}"
pass: "{{ env_var('DBT_ORACLE_PASSWORD') }}"
database: "{{ env_var('DBT_ORACLE_DATABASE') }}"
tns_name: "{{ env_var('DBT_ORACLE_TNS_NAME') }}"
schema: "{{ env_var('DBT_ORACLE_SCHEMA') }}"
threads: 4
session_info:
action: "dbt run"
client_identifier: "dbt-unique-client-uuid"
client_info: "dbt Python3.9 thin driver"
module: "dbt-oracle-1.8.x"

Это помогает отслеживать сессии dbt в представлении базы данных V$SESSION

Нашли ошибку?

0
Loading