# Добавление Seeds в ваш DAG

## Связанные справочные документы

* [Конфигурации Seed](https://docs.getdbt.tech/reference/seed-configs.md)
* [Свойства Seed](https://docs.getdbt.tech/reference/seed-properties.md)
* [Команда `seed`](https://docs.getdbt.tech/reference/commands/seed.md)

## Обзор

Seeds — это CSV файлы в вашем проекте dbt (обычно в вашем каталоге `seeds`), которые dbt может загрузить в ваш data warehouse с помощью команды `dbt seed`.

Seeds могут быть использованы в последующих моделях так же, как и модели — с использованием [функции `ref`](https://docs.getdbt.tech/reference/dbt-jinja-functions/ref.md).

Поскольку эти CSV файлы находятся в вашем репозитории dbt, они подлежат контролю версий и могут быть проверены в ходе код-ревью. Seeds лучше всего подходят для статических данных, которые редко изменяются.

Хорошие примеры использования seeds:

* Список соответствий кодов стран и названий стран
* Список тестовых email-адресов для исключения из анализа
* Список идентификаторов учетных записей сотрудников

Плохие примеры использования dbt seeds:

* Загрузка необработанных данных, экспортированных в CSV
* Любые производственные данные, содержащие конфиденциальную информацию. Например, персональные данные (PII) и пароли.

## Пример

Чтобы загрузить seed-файл в ваш dbt‑проект:

1. Добавьте файл в директорию `seeds` с расширением `.csv`, например `seeds/country_codes.csv`

seeds/country\_codes.csv

```text
country_code,country_name
US,United States
CA,Canada
GB,United Kingdom
...
```

2. Выполните [команду](https://docs.getdbt.tech/reference/commands/seed.md) `dbt seed` — в вашем хранилище данных в целевой схеме будет создана новая таблица, названная `country_codes`

```text
$ dbt seed

Найдено 2 модели, 3 теста, 0 архивов, 0 анализов, 53 макроса, 0 операций, 1 seed файл

14:46:15 | Параллелизм: 1 поток (цель='dev')
14:46:15 |
14:46:15 | 1 из 1 НАЧАТЬ seed файл analytics.country_codes........................... [ВЫПОЛНЯЕТСЯ]
14:46:15 | 1 из 1 ОК загружен seed файл analytics.country_codes....................... [ВСТАВЛЕНО 3 за 0.01с]
14:46:16 |
14:46:16 | Завершено выполнение 1 seed за 0.14с.

Завершено успешно

Готово. УСПЕХ=1 ОШИБКА=0 ПРОПУСК=0 ВСЕГО=1
```

3. Ссылайтесь на seeds в последующих моделях, используя функцию `ref`.

models/orders.sql

```sql
-- Это ссылается на таблицу, созданную из seeds/country_codes.csv
select * from {{ ref('country_codes') }}
```

## Конфигурирование seeds

Seeds настраиваются в вашем `dbt_project.yml`, ознакомьтесь с документацией по [конфигурациям Seed](https://docs.getdbt.tech/reference/seed-configs.md) для полного списка доступных настроек.

## Документирование и тестирование seeds

Вы можете документировать и тестировать seeds в YAML, объявляя свойства — ознакомьтесь с документацией по [свойствам Seed](https://docs.getdbt.tech/reference/seed-properties.md) для получения дополнительной информации.

## Часто задаваемые вопросы

Можно ли загружать исходные данные с помощью seeds?

Seeds **не следует** использовать для загрузки необработанных данных (например, больших CSV-экспортов из производственной базы данных).

Поскольку seeds находятся под версионным контролем, они лучше всего подходят для файлов, содержащих бизнес-логику, например, список кодов стран или идентификаторов пользователей сотрудников.

Загрузка CSV-файлов с использованием функциональности seed в dbt неэффективна для больших файлов. Рассмотрите возможность использования другого инструмента для загрузки этих CSV-файлов в ваш data warehouse.

Могу ли я хранить seed-файлы в каталоге, отличном от \`seeds\`, в моем проекте?

По умолчанию dbt ожидает, что ваши seed-файлы будут располагаться в подкаталоге `seeds` вашего проекта.

Чтобы изменить это, обновите конфигурацию [seed-paths](https://docs.getdbt.tech/reference/project-configs/seed-paths.md) в файле `dbt_project.yml` следующим образом:

dbt\_project.yml

```yml
seed-paths: ["custom_seeds"]
```

Колонки моего seed изменились, и теперь я получаю ошибку при выполнении команды \`seed\`, что мне делать?

Если вы изменили колонки вашего seed, вы можете получить `Database Error`:

### Snowflake

```shell
$ dbt seed
Running with dbt=1.6.0-rc2
Found 0 models, 0 tests, 0 snapshots, 0 analyses, 130 macros, 0 operations, 1 seed file, 0 sources

12:12:27 | Concurrency: 8 threads (target='dev_snowflake')
12:12:27 |
12:12:27 | 1 of 1 START seed file dbt_claire.country_codes...................... [RUN]
12:12:30 | 1 of 1 ERROR loading seed file dbt_claire.country_codes.............. [ERROR in 2.78s]
12:12:31 |
12:12:31 | Finished running 1 seed in 10.05s.

Completed with 1 error and 0 warnings:

Database Error in seed country_codes (seeds/country_codes.csv)
  000904 (42000): SQL compilation error: error line 1 at position 62
  invalid identifier 'COUNTRY_NAME'

Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1
```

### Redshift

```shell
$ dbt seed
Running with dbt=1.6.0-rc2
Found 0 models, 0 tests, 0 snapshots, 0 analyses, 149 macros, 0 operations, 1 seed file, 0 sources

12:14:46 | Concurrency: 1 threads (target='dev_redshift')
12:14:46 |
12:14:46 | 1 of 1 START seed file dbt_claire.country_codes...................... [RUN]
12:14:46 | 1 of 1 ERROR loading seed file dbt_claire.country_codes.............. [ERROR in 0.23s]
12:14:46 |
12:14:46 | Finished running 1 seed in 1.75s.

Completed with 1 error and 0 warnings:

Database Error in seed country_codes (seeds/country_codes.csv)
  column "country_name" of relation "country_codes" does not exist

Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1
```

В этом случае вам следует повторно выполнить команду с флагом `--full-refresh`, как показано ниже:

```text
dbt seed --full-refresh
```

**Почему это необходимо?**

Когда вы обычно выполняете dbt seed, dbt очищает существующую таблица и вставляет данные заново. Этот подход позволяет избежать команды `drop cascade`, которая может привести к удалению зависимых объектов (которые могут использоваться вашими BI-пользователями!).

Однако, когда изменяются имена колонок или добавляются новые колонки, эти команды не выполнятся, так как структура таблицы изменилась.

Флаг `--full-refresh` заставит dbt выполнить `drop cascade` существующей таблицы перед её восстановлением.

Как тестировать и документировать seeds?

Чтобы тестировать и документировать seed-файлы, используйте [файл свойств](https://docs.getdbt.tech/reference/configs-and-properties.md) и размещайте настройки внутри ключа `seeds:`

## Пример

seeds/properties.yml

```yml
seeds:
  - name: country_codes
    description: Сопоставление двухбуквенных кодов стран с названиями стран
    columns:
      - name: country_code
        data_tests:
          - unique
          - not_null
      - name: country_name
        data_tests:
          - unique
          - not_null
```

Как задать тип данных для столбца в seed?

dbt будет определять тип данных для каждого столбца на основе данных в вашем CSV.

Вы также можете явно задать тип данных с помощью [конфигурации](https://docs.getdbt.tech/reference/resource-configs/column_types.md) `column_types`, как показано ниже:

dbt\_project.yml

```yml
seeds:
  jaffle_shop: # необходимо указать имя проекта
    warehouse_locations:
      +column_types:
        zipcode: varchar(5)
```

Как запустить модели, зависящие от seed?

Вы можете запустить модели, зависящие от seed, используя [синтаксис выбора моделей](https://docs.getdbt.tech/reference/node-selection/syntax.md), и рассматривая seed как модель.

Например, следующая команда запустит все модели, зависящие от seed с именем `country_codes`:

```shell
$ dbt run --select country_codes+
```

Как сохранить ведущие нули в исходных данных?

Если вам нужно сохранить ведущие нули (например, в почтовом индексе или номере мобильного телефона), включите их в seed-файл и используйте [настройку](https://docs.getdbt.tech/reference/resource-configs/column_types.md) `column_types` с типом данных varchar нужной длины.

Как построить один seed за раз?

Вы можете использовать опцию `--select` с командой `dbt seed`, например так:

```shell

$ dbt seed --select country_codes
```

Также доступна опция `--exclude`.

Больше информации можно найти в документации по [синтаксису выбора моделей](https://docs.getdbt.tech/reference/node-selection/syntax.md).

Выполняются ли хуки с сидами?

Да! Доступны следующие хуки:

* [Хуки pre-hooks и post-hooks](https://docs.getdbt.tech/reference/resource-configs/pre-hook-post-hook.md)
* [Хуки on-run-start и on-run-end](https://docs.getdbt.tech/reference/project-configs/on-run-start-on-run-end.md)

Настройте их в вашем файле `dbt_project.yml`.
