Добавление Seeds в ваш DAG

Связанные справочные документы

• Конфигурации Seed
• Свойства Seed
• Команда seed

Обзор

Seeds — это CSV файлы в вашем проекте dbt (обычно в вашем каталоге seeds), которые dbt может загрузить в ваш с помощью команды dbt seed.

Seeds могут быть использованы в последующих моделях так же, как и модели — с использованием функции ref.

Поскольку эти CSV файлы находятся в вашем репозитории dbt, они подлежат контролю версий и могут быть проверены в ходе код-ревью. Seeds лучше всего подходят для статических данных, которые редко изменяются.

Хорошие примеры использования seeds:

• Список соответствий кодов стран и названий стран
• Список тестовых email-адресов для исключения из анализа
• Список идентификаторов учетных записей сотрудников

Плохие примеры использования dbt seeds:

• Загрузка необработанных данных, экспортированных в CSV
• Любые производственные данные, содержащие конфиденциальную информацию. Например, персональные данные (PII) и пароли.

Пример

Чтобы загрузить seed файл в ваш проект dbt:

1. Добавьте файл в ваш каталог seeds с расширением .csv, например, seeds/country_codes.csv

seeds/country_codes.csv

country_code,country_name
US,United States
CA,Canada
GB,United Kingdom
...

2. Выполните команду dbt seed — в вашем хранилище данных в целевой схеме будет создана новая , названная country_codes

$ dbt seed

Найдено 2 модели, 3 теста, 0 архивов, 0 анализов, 53 макроса, 0 операций, 1 seed файл

14:46:15 | Параллелизм: 1 поток (цель='dev')
14:46:15 |
14:46:15 | 1 из 1 НАЧАТЬ seed файл analytics.country_codes........................... [ВЫПОЛНЯЕТСЯ]
14:46:15 | 1 из 1 ОК загружен seed файл analytics.country_codes....................... [ВСТАВЛЕНО 3 за 0.01с]
14:46:16 |
14:46:16 | Завершено выполнение 1 seed за 0.14с.

Завершено успешно

Готово. УСПЕХ=1 ОШИБКА=0 ПРОПУСК=0 ВСЕГО=1

3. Ссылайтесь на seeds в последующих моделях, используя функцию ref.

models/orders.sql

-- Это ссылается на таблицу, созданную из seeds/country_codes.csv
select * from {{ ref('country_codes') }}

Конфигурирование seeds

Seeds настраиваются в вашем dbt_project.yml, ознакомьтесь с документацией по конфигурациям Seed для полного списка доступных настроек.

Документирование и тестирование seeds

Вы можете документировать и тестировать seeds в YAML, объявляя свойства — ознакомьтесь с документацией по свойствам Seed для получения дополнительной информации.

Часто задаваемые вопросы

Can I use seeds to load raw data?

Seeds не следует использовать для загрузки необработанных данных (например, больших CSV-экспортов из производственной базы данных).

Поскольку seeds находятся под версионным контролем, они лучше всего подходят для файлов, содержащих бизнес-логику, например, список кодов стран или идентификаторов пользователей сотрудников.

Загрузка CSV-файлов с использованием функциональности seed в dbt неэффективна для больших файлов. Рассмотрите возможность использования другого инструмента для загрузки этих CSV-файлов в ваш .

Могу ли я хранить свои seed-файлы в другой директории, отличной от директории `seeds` в моем проекте?

По умолчанию dbt ожидает, что ваши seed-файлы будут находиться в поддиректории seeds вашего проекта.

Чтобы изменить это, обновите конфигурацию seed-paths в вашем файле dbt_project.yml, следующим образом:

dbt_project.yml

seed-paths: ["custom_seeds"]

Колонки моего seed изменились, и теперь я получаю ошибку при выполнении команды `seed`, что мне делать?

Если вы изменили колонки вашего seed, вы можете получить Database Error:

Snowflake

$ dbt seed
Running with dbt=0.16.0-rc2
Found 0 models, 0 tests, 0 snapshots, 0 analyses, 130 macros, 0 operations, 1 seed file, 0 sources

12:12:27 | Concurrency: 8 threads (target='dev_snowflake')
12:12:27 |
12:12:27 | 1 of 1 START seed file dbt_claire.country_codes...................... [RUN]
12:12:30 | 1 of 1 ERROR loading seed file dbt_claire.country_codes.............. [ERROR in 2.78s]
12:12:31 |
12:12:31 | Finished running 1 seed in 10.05s.

Completed with 1 error and 0 warnings:

Database Error in seed country_codes (seeds/country_codes.csv)
  000904 (42000): SQL compilation error: error line 1 at position 62
  invalid identifier 'COUNTRY_NAME'

Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1

Redshift

$ dbt seed
Running with dbt=0.16.0-rc2
Found 0 models, 0 tests, 0 snapshots, 0 analyses, 149 macros, 0 operations, 1 seed file, 0 sources

12:14:46 | Concurrency: 1 threads (target='dev_redshift')
12:14:46 |
12:14:46 | 1 of 1 START seed file dbt_claire.country_codes...................... [RUN]
12:14:46 | 1 of 1 ERROR loading seed file dbt_claire.country_codes.............. [ERROR in 0.23s]
12:14:46 |
12:14:46 | Finished running 1 seed in 1.75s.

Completed with 1 error and 0 warnings:

Database Error in seed country_codes (seeds/country_codes.csv)
  column "country_name" of relation "country_codes" does not exist

Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1

В этом случае вам следует повторно выполнить команду с флагом --full-refresh, как показано ниже:

dbt seed --full-refresh

Почему это необходимо?

Когда вы обычно выполняете dbt seed, dbt очищает существующую и вставляет данные заново. Этот подход позволяет избежать команды drop cascade, которая может привести к удалению зависимых объектов (которые могут использоваться вашими BI-пользователями!).

Однако, когда изменяются имена колонок или добавляются новые колонки, эти команды не выполнятся, так как структура таблицы изменилась.

Флаг --full-refresh заставит dbt выполнить drop cascade существующей таблицы перед её восстановлением.

Как тестировать и документировать seeds?

Чтобы тестировать и документировать seeds, используйте файл схемы и разместите конфигурации под ключом seeds:

Пример

seeds/schema.yml

version: 2

seeds:
  - name: country_codes
    description: Сопоставление двухбуквенных кодов стран с названиями стран
    columns:
      - name: country_code
        tests:
          - unique
          - not_null
      - name: country_name
        tests:
          - unique
          - not_null

Как задать тип данных для столбца в seed?

dbt будет определять тип данных для каждого столбца на основе данных в вашем CSV.

Вы также можете явно задать тип данных, используя конфигурацию column_types, следующим образом:

dbt_project.yml

seeds:
  jaffle_shop: # необходимо указать имя проекта
    warehouse_locations:
      +column_types:
        zipcode: varchar(5)

Как запустить модели, зависящие от seed?

Вы можете запустить модели, зависящие от seed, используя синтаксис выбора моделей, и рассматривая seed как модель.

Например, следующая команда запустит все модели, зависящие от seed с именем country_codes:

$ dbt run --select country_codes+

Как сохранить ведущие нули в исходных данных?

Если вам нужно сохранить ведущие нули (например, в почтовом индексе или номере мобильного телефона):

1. Начиная с версии v0.16.0: Включите ведущие нули в ваш файл исходных данных и используйте конфигурацию column_types с типом данных varchar нужной длины.
2. До версии v0.16.0: Используйте последующую модель для добавления ведущих нулей с помощью SQL, например: lpad(zipcode, 5, '0')

Как построить один seed за раз?

Начиная с версии v0.16.0, вы можете использовать опцию --select с командой dbt seed, вот так:

$ dbt seed --select country_codes

Также доступна опция --exclude.

Больше информации можно найти в документации по синтаксису выбора моделей.

До версии v0.16.0 не было возможности построить один seed за раз.

Выполняются ли хуки с сидами?

Да! Доступны следующие хуки:

• pre-hooks и post-hooks
• хуки on-run-start и on-run-end

Настройте их в вашем файле dbt_project.yml.