Конфигурации Salesforce Data 360Бета-версия
Поддерживаемые материализации
| Материализация | Поддерживается | Примечания |
|---|---|---|
| View | ❌ | |
| Table | ✅ | Создаёт пакетное преобразование данных (batch data transform) и объект Data Lake Object (DLO) |
| Incremental | ❌ | Планируется |
| Ephemeral | ❌ | |
| Seeds | ❌ | |
| Sources | ✅ | Обязательно |
| Custom data tests | ❌ | |
| Snapshots | ❌ |
Источники данных (sources)
Для моделей, которые запрашивают сырые данные Data Cloud, необходимо ссылаться на таблицу через dbt source. Прямой выбор DLO не поддерживается.
В моделях, которые запрашивают необработанные данные Data 360, ссылайтесь на таблицу через источник dbt. Прямое обращение к DLO не поддерживается.
Например:
sources:
- name: default
tables:
- name: raw_customers__dll
description: "Customers raw table stored in default dataspace"
columns:
- name: id__c
description: "Customer ID"
data_tests:
- not_null
- unique
- name: first_name__c
description: "Customer first name"
- name: last_name__c
description: "Customer last name"
- name: email__c
description: "Customer email address"
data_tests:
- not_null
- unique
Материализация таблиц
dbt v2 поддерживает материализацию Table в Salesforce Data 360. В результате выполнения материализации создаются пакетное преобразование данных и объект озера данных (Data Lake Object, DLO) для выполнения запросов.
В настоящее время поддерживается только DLO типа profile. Поддержка DLO типа engagement появится в ближайшее время. Для Profile DLO в конфигурации модели обязательно должен быть указан primary_key. Например:
{{ config(
materialized='table',
primary_key='customer_id__c',
category='Profile'
) }}
select
id__c as customer_id__c,
first_name__c,
last_name__c,
email__c as customer_email__c
from {{ source('default', 'raw_customers__dll') }}
Правила именования и обязательные конфигурации
- Имена всех моделей dbt должны заканчиваться на
__dll. Если вы не укажете этот суффикс в имени файла, он будет добавлен автоматически при выполнении (например,model_nameстанетmodel_name__dll). Это нарушит ссылки dbt в нижестоящих моделях, поскольку dbt будет искать DLO с именемmodel_name, тогда как в Data 360 он будет называтьсяmodel_name__dll. - Имена столбцов должны заканчиваться на
__c. Отсутствие этого суффикса приводит к ошибке Data 360 «unknown syntax». - Имена моделей не могут содержать двойные подчёркивания (
__), кроме завершающего суффикса__dll. Например, модельsupplies__agg__dllбудет создана с именемagg__dll, что может привести к путанице со ссылками в нижестоящих моделях. - Для всех моделей dbt в конфигурации модели должны быть заданы
primary_keyиcategory='Profile'. Эти настройки также можно задать в файлахresources.ymlиdbt_project.yml.
Известные ограничения
- Повторные запуски моделей dbt: Из-за архитектуры управления метаданными и зависимостями в Data 360 dbt не может повторно запустить ту же модель, если преобразование данных и DLO уже существуют. Это связано с тем, что при последующих запусках материализаций table dbt не может удалить DLO, как это обычно происходит в хранилищах данных. Если вы изменили логику между запусками, перед выполнением
dbtf runнеобходимо вручную удалить зависимости преобразования данных и DLO в пользовательском интерфейсе. Исправление находится в разработке. - Статический анализ в VS Code: Затронуты отслеживание происхождения данных на уровне столбцов и кнопки dbt (
BuildиTest). Вы можете временно отключить статический анализ, выполняя все команды с параметром--static-analysis off, или задать переменную окруженияDBT_STATIC_ANALYSIS=off. - Произвольные запросы (например,
SELECT 1 AS foo): Все запросы должны быть связаны с определённым источником dbt, прежде чем на их основе можно будет построить модель dbt. select *Запросы метаданных могут завершаться ошибкой, поскольку Data 360 добавляет системные столбцы в каждый DLO. Исправление ошибки находится в разработке.
Нашли ошибку?
0