Справочник по командам dbt
Вы можете запускать dbt, используя следующие инструменты:
- В вашем браузере с помощью dbt Cloud IDE
- В командной строке, используя dbt Cloud CLI или open-source dbt Core.
Ключевое различие между упомянутыми инструментами заключается в том, что dbt Cloud CLI и IDE разработаны для поддержки безопасного параллельного выполнения команд dbt, используя инфраструктуру dbt Cloud и его обширные функции. В отличие от них, dbt-core не поддерживает безопасное параллельное выполнение для нескольких вызовов в одном процессе. Узнайте больше в разделе параллельное выполнение.
Параллельное выполнение
dbt Cloud позволяет выполнять команды одновременно, повышая эффективность без ущерба для целостности данных. Это позволяет запускать несколько команд одновременно. Однако важно понимать, какие команды можно выполнять параллельно, а какие нет.
В отличие от этого, dbt-core не поддерживает безопасное параллельное выполнение для нескольких вызовов в одном процессе и требует от пользователей самостоятельного управления параллельностью для обеспечения целостности данных и стабильности системы.
Чтобы ваши рабочие процессы dbt были как эффективными, так и безопасными, вы можете запускать разные типы команд dbt одновременно (параллельно) — например, dbt build (операция записи) может безопасно выполняться одновременно с dbt parse (операция чтения). Однако вы не можете запускать dbt build и dbt run (обе операции записи) одновременно.
Команды dbt могут быть командами чтения или командами записи:
| Тип команды | Описание | Пример |
|---|---|---|
| Запись | Эти команды выполняют действия, которые изменяют данные или метаданные в вашей платформе данных. Ограничены одним вызовом в любой момент времени, что предотвращает возможные конфликты, такие как перезапись одной и той же таблицы в вашей платформе данных одновременно. | dbt builddbt run |
| Чтение | Эти команды включают операции, которые извлекают или читают данные без внесения изменений в вашу платформу данных. Могут иметь несколько вызовов параллельно и не ограничены одним вызовом в любой момент времени. Это означает, что команды чтения могут выполняться параллельно с другими командами чтения и одной командой записи. | dbt parsedbt compile |
Доступные команды
Следующие разделы описывают команды, поддерживаемые dbt, и их соответствующие флаги. Они доступны во всех инструментах и всех поддерживаемых версиях, если не указано иное. Вы можете запускать эти команды в вашем конкретном инструменте, добавляя к ним префикс dbt — например, чтобы запустить команду test, введите dbt test.
Для получения информации о выборе моделей в командной строке обратитесь к Синтаксис выбора моделей.
Команды с ('❌') указывают на команды записи, команды с ('✅') указывают на команды чтения, а команды с (N/A) указывают на то, что они не имеют отношения к параллелизации команд dbt.
| Команда | Описание | Параллельное выполнение | Особенности |
|---|---|---|---|
| build | Строит и тестирует все выбранные ресурсы (модели, семена, снимки, тесты) | ❌ | Все инструменты Все поддерживаемые версии |
| cancel | Отменяет самый последний вызов. | N/A | dbt Cloud CLI Требуется dbt v1.6 или выше |
| clean | Удаляет артефакты, присутствующие в проекте dbt | ✅ | Все инструменты Все поддерживаемые версии |
| clone | Клонирует выбранные модели из указанного состояния | ❌ | Все инструменты Требуется dbt v1.6 или выше |
| compile | Компилирует (но не запускает) модели в проекте | ✅ | Все инструменты Все поддерживаемые версии |
| debug | Отлаживает соединения и проекты dbt | ✅ | dbt Cloud IDE, dbt Core Все поддерживаемые версии |
| deps | Загружает зависимости для проекта | ✅ | Все инструменты Все поддерживаемые версии |
| docs | Генерирует документацию для проекта | ✅ | Все инструменты Все поддерживаемые версии |
| environment | Позволяет взаимодействовать с вашей средой dbt Cloud. | N/A | dbt Cloud CLI Требуется dbt v1.5 или выше |
| help | Отображает справочную информацию для любой команды | N/A | dbt Core, dbt Cloud CLI Все поддерживаемые версии |
| init | Инициализирует новый проект dbt | ✅ | dbt Core Все поддерживаемые версии |
| list | Перечисляет ресурсы, определенные в проекте dbt | ✅ | Все инструменты Все поддерживаемые версии |
| parse | Разбирает проект и записывает подробную информацию о времени выполнения | ✅ | Все инструменты Все поддерживаемые версии |
| reattach | Повторно подключается к самому последнему вызову для получения журналов и артефактов. | N/A | dbt Cloud CLI Требуется dbt v1.6 или выше |
| retry | Повторяет последнюю выполненную команду dbt с точки сбоя | ❌ | Все инструменты Требуется dbt v1.6 или выше |
| run | Запускает модели в проекте | ❌ | Все инструменты Все поддерживаемые версии |
| run-operation | Вызывает макрос, включая выполнение произвольного SQL для обслуживания базы данных | ❌ | Все инструменты Все поддерживаемые версии |
| seed | Загружает CSV-файлы в базу данных | ❌ | Все инструменты Все поддерживаемые версии |
| show | Предварительный просмотр строк таблицы после трансформации | ✅ | Все инструменты Все поддерживаемые версии |
| snapshot | Выполняет "снимки" заданий, определенных в проекте | ❌ | Все инструменты Все поддерживаемые версии |
| source | Предоставляет инструменты для работы с исходными данными (включая проверку "свежести" источников) | ✅ | Все инструменты Все поддерживаемые версии |
| test | Выполняет тесты, определенные в проекте | ✅ | Все инструменты Все поддерживаемые версии |
Обратите внимание, используйте флаг --version для отображения установленной версии dbt Core или dbt Cloud CLI. (Не применимо для dbt Cloud IDE). Доступно во всех поддерживаемых версиях. |