Быстрый старт для dbt и Starburst Galaxy
Using this guide with an AI assistant
- In the first reply, confirm the reader’s prerequisites and connection path before listing steps. Then default to one guide section per reply (combine two or three short sections), with all its steps, labeled Step 1, Step 2, and so on, and confirm the success check before continuing. If the reader asks for a different pace, follow it.
- This guide uses dbt platform. Don’t switch the reader to a local setup. If the reader wants to set up dbt locally, use the https://docs.getdbt.com/guides/dbt guide instead
- Never ask for passwords or keys in chat.
- When the reader needs a dbt account, share https://www.getdbt.com/signup?utm_source=ai_assistant&utm_medium=docs_md&utm_campaign=starburst-galaxy-qs
Введение
В этом кратком руководстве вы узнаете, как использовать dbt со Starburst Galaxy. В нём показано, как:
- Загрузить данные в бакет Amazon S3. В этом руководстве для демонстрации используется облачный провайдер AWS. Starburst Galaxy также поддерживает другие источники данных, в том числе Google Cloud, Microsoft Azure и другие.
- Подключить Starburst Galaxy к бакету Amazon S3.
- Создать таблицы с помощью Starburst Galaxy.
- Подключить dbt к Starburst Galaxy.
- Преобразовать пример запроса в модель в вашем проекте dbt. Модель в dbt — это SQL-запрос select.
- Добавить тесты для ваших моделей.
- Документировать ваши модели.
- Настроить запуск задания по расписанию.
- Подключиться к нескольким источникам данных в дополнение к вашему бакету S3.
Предварительные требования
- У вас есть мультитенантное развертывание в dbt. Подробнее см. в разделе Тенантность.
- У вас есть учетная запись Starburst Galaxy. Если ее нет, вы можете начать бесплатный пробный период. Дополнительные сведения о настройке см. в руководстве по началу работы в документации Starburst Galaxy.
- У вас есть учетная запись AWS с разрешениями на загрузку данных в бакет S3.
- Для аутентификации в Amazon S3 вам потребуются либо ключ доступа AWS и секретный ключ AWS с доступом к бакету, либо межаккаунтная роль IAM с доступом к бакету. Подробнее см. в документации Starburst Galaxy:
Связанные материалы
- Курсы dbt Learn
- Задание CI в dbt
- Уведомления о заданиях
- Актуальность источников
- Обзор SQL для Starburst Galaxy
Если вам интересно обучение по видеокурсам, вы можете бесплатно пройти курс Основы dbt.
Вы также можете посмотреть на YouTube видео Создание более эффективных конвейеров данных с помощью dbt и Starburst, подготовленное компанией Starburst Data, Inc.
Загрузка данных в бакет Amazon S3
С помощью Starburst Galaxy можно создавать таблицы и преобразовывать их в dbt. Сначала загрузите данные Jaffle Shop от dbt Labs в бакет S3.
-
Скачайте следующие CSV‑файлы на локальный компьютер:
-
Загрузите эти файлы в S3. Подробности см. в разделе Upload objects документации Amazon S3.
При загрузке файлов необходимо создать следующую структуру папок и поместить соответствующий файл в каждую папку:
<bucket/blob>
dbt-quickstart (folder)
jaffle-shop-customers (folder)
jaffle_shop_customers.csv (file)
jaffle-shop-orders (folder)
jaffle_shop_orders.csv (file)
stripe-payments (folder)
stripe-payments.csv (file)
Подключение Starburst Galaxy к бакету Amazon S3
Если ваш экземпляр Starburst Galaxy еще не подключен к бакету S3, вам нужно создать кластер, настроить каталог, позволяющий Starburst Galaxy подключаться к S3, добавить каталог в кластер и настроить права доступа.
Помимо Amazon S3, Starburst Galaxy поддерживает множество других источников данных. Подробнее см. в разделе Catalogs overview документации Starburst Galaxy.
-
Создайте кластер. Нажмите Clusters на левой боковой панели интерфейса Starburst Galaxy, затем нажмите Create cluster в основной части страницы.
-
В модальном окне Create a new cluster укажите только следующие параметры (остальные можно оставить по умолчанию):
- Cluster name — введите имя кластера.
- Cloud provider region — выберите регион AWS.
Нажмите Create cluster.
-
Создайте каталог. Нажмите Catalogs на левой боковой панели, затем Create catalog.
-
На странице Create a data source выберите плитку Amazon S3.
-
В разделе Name and description страницы Amazon S3 заполните поля.
-
В разделе Authentication to S3 выберите механизм аутентификации AWS (S3), который вы используете.
-
В разделе Metastore configuration задайте следующие параметры:
- Default S3 bucket name — имя бакета S3, к которому вы хотите получить доступ.
- Default directory name — имя папки в бакете S3, где находятся данные Jaffle Shop (та же папка, что и в разделе Load data to an Amazon S3 bucket).
- Allow creating external tables — включите.
- Allow writing to external tables — включите.
Страница Amazon S3 должна выглядеть примерно так. Содержимое раздела Authentication to S3 зависит от способа аутентификации.
-
Нажмите Test connection. Это позволит проверить, есть ли у Starburst Galaxy доступ к вашему бакету S3.
-
Нажмите Connect catalog, если проверка подключения прошла успешно.
-
На странице Set permissions нажмите Skip — при необходимости вы сможете добавить права позже.
-
На странице Add to cluster выберите кластер из выпадающего списка и нажмите Add to cluster.
-
Добавьте привилегию location для вашего бакета S3 к роли в Starburst Galaxy. В левой боковой панели нажмите Access control > Roles and privileges, затем в таблице Roles выберите роль accountadmin.
Если вы используете существующий кластер и не имеете доступа к роли accountadmin, выберите роль, к которой у вас есть доступ.
Подробнее см. в разделе Access control документации Starburst Galaxy.
-
На странице Roles откройте вкладку Privileges и нажмите Add privilege.
-
На странице Add privilege задайте:
- What would you like to modify privileges for? — выберите Location.
- Enter a storage location provide — укажите путь к вашему бакету S3 и папке с данными Jaffle Shop. Обязательно добавьте
/*в конце. - Create SQL — включите.
Нажмите Add privileges.
Создание таблиц в Starburst Galaxy
Чтобы выполнять запросы к данным Jaffle Shop через Starburst Galaxy, необходимо создать таблицы на основе данных, которые вы загрузили в бакет S3. Это можно сделать (как и выполнить любой SQL‑запрос) из редактора запросов.
-
В левой боковой панели нажмите Query > Query editor.
-
Настройте редактор запросов для работы с вашим бакетом S3. В правом верхнем углу выберите кластер в первом сером поле и каталог — во втором:
-
Скопируйте и вставьте следующие запросы в редактор и выполните каждый по отдельности (Run).
Замените
YOUR_S3_BUCKET_NAMEна имя вашего бакета S3. Эти запросы создают схемуjaffle_shopи таблицыjaffle_shop_customers,jaffle_shop_ordersиstripe_payments:CREATE SCHEMA jaffle_shop WITH (location='s3://YOUR_S3_BUCKET_NAME/dbt-quickstart/');
CREATE TABLE jaffle_shop.jaffle_shop_customers (
id VARCHAR,
first_name VARCHAR,
last_name VARCHAR
)
WITH (
external_location = 's3://YOUR_S3_BUCKET_NAME/dbt-quickstart/jaffle-shop-customers/',
format = 'csv',
type = 'hive',
skip_header_line_count=1
);
CREATE TABLE jaffle_shop.jaffle_shop_orders (
id VARCHAR,
user_id VARCHAR,
order_date VARCHAR,
status VARCHAR
)
WITH (
external_location = 's3://YOUR_S3_BUCKET_NAME/dbt-quickstart/jaffle-shop-orders/',
format = 'csv',
type = 'hive',
skip_header_line_count=1
);
CREATE TABLE jaffle_shop.stripe_payments (
id VARCHAR,
order_id VARCHAR,
paymentmethod VARCHAR,
status VARCHAR,
amount VARCHAR,
created VARCHAR
)
WITH (
external_location = 's3://YOUR_S3_BUCKET_NAME/dbt-quickstart/stripe-payments/',
format = 'csv',
type = 'hive',
skip_header_line_count=1
); -
После выполнения запросов в левой панели редактора появится следующая иерархия:
-
Проверьте, что таблицы были успешно созданы, выполнив запросы:
select * from jaffle_shop.jaffle_shop_customers;
select * from jaffle_shop.jaffle_shop_orders;
select * from jaffle_shop.stripe_payments;
Подключение dbt к Starburst Galaxy
-
Убедитесь, что вы по-прежнему вошли в Starburst Galaxy.
-
Если вы ещё этого не сделали, установите для своей учётной записи роль accountadmin. Нажмите на свой адрес электронной почты в правом верхнем углу, выберите Switch role, а затем — accountadmin.
Если этой роли нет в списке, выберите роль, которую вы указали в разделе Подключение Starburst Galaxy к бакету Amazon S3, когда добавляли привилегию доступа к расположению для своего бакета S3.
-
Нажмите Clusters на левой боковой панели.
-
Найдите свой кластер в таблице View clusters и нажмите Connection info. Выберите dbt в раскрывающемся списке Select client. Оставьте модальное окно Connection information открытым. Сведения из этого окна понадобятся вам в dbt.
-
В другой вкладке браузера войдите в dbt.
-
Создайте новый проект в dbt. Нажмите на название своей учётной записи в меню слева, выберите Account settings и нажмите + New Project.
-
Введите название проекта и нажмите Continue.
-
Выберите Starburst в качестве подключения и нажмите Next.
-
Укажите настройки (Settings) нового проекта:
- Host — значение Host из модального окна Connection information на вкладке Starburst Galaxy.
- Port — 443 (значение по умолчанию)
-
Укажите учётные данные пользователя (User credentials) для нового проекта:
- User — значение User из модального окна Connection information на вкладке Starburst Galaxy. Обязательно используйте всю строку, включая роль учётной записи: символ
/и все следующие за ним символы. Если не указать эту часть, будет использована ваша роль по умолчанию, у которой может не быть необходимых разрешений для разработки проекта. - Password — пароль, который вы используете для входа в свою учётную запись Starburst Galaxy.
- Database — каталог Starburst, в котором вы хотите сохранять данные (например, при записи новых таблиц). Обратите внимание: база данных в dbt соответствует каталогу в Starburst Galaxy.
- Оставьте остальные параметры без изменений. Можно использовать их значения по умолчанию.
- User — значение User из модального окна Connection information на вкладке Starburst Galaxy. Обязательно используйте всю строку, включая роль учётной записи: символ
-
Нажмите Test Connection. Эта проверка позволяет убедиться, что dbt может получить доступ к вашему кластеру Starburst Galaxy.
-
Если проверка прошла успешно, нажмите Next. Если она завершилась ошибкой, возможно, потребуется проверить настройки и учётные данные Starburst Galaxy.
Настройка репозитория под управлением dbt
При разработке в dbt вы можете использовать Git для управления версиями кода.
Чтобы подключиться к репозиторию, вы можете настроить управляемый репозиторий, размещённый на стороне dbt, или напрямую подключиться к поддерживаемому Git-провайдеру. Управляемые репозитории — отличный способ попробовать dbt без необходимости создавать новый репозиторий. В долгосрочной перспективе лучше подключиться к поддерживаемому Git-провайдеру, чтобы использовать такие возможности, как автоматизация и непрерывная интеграция.
Чтобы настроить управляемый репозиторий:
- В разделе "Настроить репозиторий" выберите Управляемый.
- Введите имя для вашего репозитория, например,
bbaggins-dbt-quickstart. - Нажмите Создать. Создание и импорт вашего репозитория займет несколько секунд.
- Как только вы увидите сообщение "Репозиторий успешно импортирован", нажмите Продолжить.
Инициализируйте проект dbt и начните разработку
Теперь, когда репозиторий настроен, вы можете инициализировать проект и начать разработку в dbt:
- Нажмите Start developing in the Studio IDE. Первый запуск проекта может занять несколько минут: за это время устанавливается подключение к git, клонируется репозиторий и проверяется подключение к хранилищу данных.
- Над деревом файлов слева нажмите Initialize dbt project. Это создаст структуру папок с примерами моделей.
- Создайте первый коммит, нажав Commit and sync. Укажите сообщение коммита
initial commitи нажмите Commit. Это создаст первый коммит в вашем управляемом репозитории и позволит открыть ветку, в которой вы сможете добавлять новый код dbt. - Теперь вы можете напрямую запрашивать данные из хранилища и выполнять
dbt run. Попробуйте сделать это прямо сейчас:- Нажмите + Create new file, добавьте этот запрос в новый файл и нажмите Save as, чтобы сохранить новый файл:
select * from dbt_quickstart.jaffle_shop.jaffle_shop_customers - В командной строке внизу выполните
dbt run. Вы должны увидеть сообщениеdbt run succeeded.
- Нажмите + Create new file, добавьте этот запрос в новый файл и нажмите Save as, чтобы сохранить новый файл:
Создание первой модели
Если вы хотите использовать ИИ для создания своей первой модели, ознакомьтесь с инструкцией по созданию модели с помощью dbt Wizard в следующем разделе.
У вас есть два варианта работы с файлами в Studio IDE:
- Создать новую ветку (рекомендуется) — Создайте новую ветку для редактирования и коммита изменений. Перейдите в раздел Version Control на левой боковой панели и нажмите Create branch.
- Редактировать в защищённой основной ветке — Если вы предпочитаете редактировать, форматировать файлы или проверять их линтером и выполнять команды dbt непосредственно в основной ветке Git. Studio IDE не позволяет создавать коммиты в защищённой ветке, поэтому вам будет предложено закоммитить изменения в новую ветку.
Назовите новую ветку add-customers-model.
- Нажмите ... рядом с каталогом
modelsи выберите Create file. - Назовите файл
customers.sql. - Вставьте следующий запрос и нажмите Save.
with customers as (
select
id as customer_id,
first_name,
last_name
from dbt_quickstart.jaffle_shop.jaffle_shop_customers
),
orders as (
select
id as order_id,
user_id as customer_id,
order_date,
status
from dbt_quickstart.jaffle_shop.jaffle_shop_orders
),
customer_orders as (
select
customer_id,
min(order_date) as first_order_date,
max(order_date) as most_recent_order_date,
count(order_id) as number_of_orders
from orders
group by 1
),
final as (
select
customers.customer_id,
customers.first_name,
customers.last_name,
customer_orders.first_order_date,
customer_orders.most_recent_order_date,
coalesce(customer_orders.number_of_orders, 0) as number_of_orders
from customers
left join customer_orders on customers.customer_id = customer_orders.customer_id
)
select * from final
- Выполните
dbt run— вы должны увидеть успешное выполнение и три модели.
Позже вы сможете подключить свои инструменты бизнес-аналитики (BI) (например, dbt Charts) к этим представлениям и таблицам, чтобы они считывали только очищенные, а не необработанные данные.
Часто задаваемые вопросы
Создайте модель с помощью ИИ в dbt Wizard
Не хотите писать SQL вручную? dbt Wizard может создать для вас ту же модель прямо в Studio IDE или на главной вкладке, опираясь на фактическую схему и граф зависимостей вашего проекта. Но будьте осторожны: говорят, волшебник умеет .
- Откройте dbt Wizard в Studio IDE.
- Введите запрос: «Создай модель customers, которая объединяет orders и customers и включает дату последнего заказа и общее количество заказов для каждого клиента».
- Проверьте SQL, сгенерированный dbt Wizard, затем примите его, чтобы сохранить модель.
- Введите
dbt run, чтобы построить модель.
В любом случае вы получите одну и ту же работающую модель. Узнайте больше о dbt Wizard на платформе dbt.
Измените способ материализации вашей модели
Одной из самых мощных функций dbt является возможность изменять способ материализации модели в вашем хранилище данных, просто изменяя значение конфигурации. Вы можете переключаться между таблицами и представлениями, изменяя ключевое слово, вместо того чтобы писать язык определения данных (DDL) для выполнения этого за кулисами.
По умолчанию все создается как представление. Вы можете переопределить это на уровне директории, чтобы все в этой директории материализовалось по-другому.
-
Отредактируйте ваш файл
dbt_project.yml.-
Обновите имя вашего проекта на:
dbt_project.ymlname: 'jaffle_shop' -
Настройте
jaffle_shopтак, чтобы всё внутри него материализовалось как таблица; и настройтеexampleтак, чтобы всё внутри него материализовалось как представление (view). Обновите конфигурациюmodelsв YAML-файле проекта следующим образом:dbt_project.ymlmodels:
jaffle_shop:
+materialized: table
example:
+materialized: view -
Нажмите Сохранить.
-
-
Введите команду
dbt run. Ваша модельcustomersтеперь должна быть построена как таблица!к сведениюДля этого dbt сначала должен был выполнить оператор
drop view(или API вызов на BigQuery), затем операторcreate table as. -
Отредактируйте
models/customers.sql, чтобы переопределитьdbt_project.ymlтолько для моделиcustomers, добавив следующий фрагмент в начало, и нажмите Сохранить:models/customers.sql{{
config(
materialized='view'
)
}}
with customers as (
select
id as customer_id
...
) -
Введите команду
dbt run. Ваша модельcustomersтеперь должна быть построена как представление.- Пользователям BigQuery необходимо выполнить
dbt run --full-refreshвместоdbt run, чтобы полностью применить изменения материализации.
- Пользователям BigQuery необходимо выполнить
-
Введите команду
dbt run --full-refresh, чтобы изменения вступили в силу в вашем хранилище данных.
Часто задаваемые вопросы
Удаление примеров моделей
Теперь вы можете удалить файлы, которые dbt создал при инициализации проекта:
-
Удалите директорию
models/example/. -
Удалите ключ
example:из вашего файлаdbt_project.yml, а также любые конфигурации, которые перечислены под ним.dbt_project.yml# до
models:
jaffle_shop:
+materialized: table
example:
+materialized: viewdbt_project.yml# после
models:
jaffle_shop:
+materialized: table -
Сохраните изменения.
Часто задаваемые вопросы
Построение моделей поверх других моделей
Как лучшая практика в SQL, следует разделять логику, которая очищает ваши данные, от логики, которая трансформирует ваши данные. Вы уже начали делать это в существующем запросе, используя общие табличные выражения (CTE).
Теперь вы можете поэкспериментировать, разделив логику на отдельные модели и используя функцию ref для построения моделей на основе других моделей:
-
Создайте файл
models/stg_customers.sqlс SQL из CTEcustomers. -
Создайте файл
models/stg_orders.sqlс SQL из CTEorders.models/stg_customers.sqlselect
id as customer_id,
first_name,
last_name
from dbt_quickstart.jaffle_shop.jaffle_shop_customersmodels/stg_orders.sqlselect
id as order_id,
user_id as customer_id,
order_date,
status
from dbt_quickstart.jaffle_shop.jaffle_shop_orders -
Отредактируйте
models/customers.sqlследующим образом:models/customers.sqlwith customers as (
select * from {{ ref('stg_customers') }}
),
orders as (
select * from {{ ref('stg_orders') }}
),
customer_orders as (
select
customer_id,
min(order_date) as first_order_date,
max(order_date) as most_recent_order_date,
count(order_id) as number_of_orders
from orders
group by 1
),
final as (
select
customers.customer_id,
customers.first_name,
customers.last_name,
customer_orders.first_order_date,
customer_orders.most_recent_order_date,
coalesce(customer_orders.number_of_orders, 0) as number_of_orders
from customers
left join customer_orders on customers.customer_id = customer_orders.customer_id
)
select * from final -
Выполните
dbt run.На этот раз dbt создаст отдельные представления/таблицы для
stg_customers,stg_ordersиcustomers. Порядок выполнения будет определен автоматически на основе зависимостей.
Часто задаваемые вопросы
Добавьте тесты к вашим моделям
Добавление data tests в проект помогает убедиться, что ваши модели работают корректно.
Чтобы добавить data tests в проект:
-
Создайте новый YAML-файл в директории
models, назвав егоmodels/schema.yml. -
Добавьте в файл следующее содержимое:
models/schema.ymlversion: 2
models:
- name: customers
columns:
- name: customer_id
data_tests:
- unique
- not_null
- name: stg_customers
columns:
- name: customer_id
data_tests:
- unique
- not_null
- name: stg_orders
columns:
- name: order_id
data_tests:
- unique
- not_null
- name: status
data_tests:
- accepted_values:
arguments: # available in v1.10.5 and higher. Older versions can set the <argument_name> as the top-level property.
values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']
- name: customer_id
data_tests:
- not_null
- relationships:
arguments:
to: ref('stg_customers')
field: customer_id -
Запустите
dbt testи убедитесь, что все ваши тесты прошли успешно.
Когда вы запускаете dbt test, dbt проходит по вашим YAML-файлам и создает запрос для каждого теста. Каждый запрос вернет количество записей, которые не прошли тест. Если это число равно 0, то тест считается успешным.
Часто задаваемые вопросы
Документируйте ваши модели
Добавление документации в ваш проект позволяет подробно описывать ваши модели и делиться этой информацией с вашей командой. Здесь мы добавим базовую документацию в наш проект.
Обновите файл models/schema.yml, добавив описания, например приведённые ниже.
version: 2
models:
- name: customers
description: Одна запись на каждого клиента
columns:
- name: customer_id
description: Первичный ключ
data_tests:
- unique
- not_null
- name: first_order_date
description: NULL, если клиент еще не сделал заказ.
- name: stg_customers
description: Эта модель очищает данные о клиентах
columns:
- name: customer_id
description: Первичный ключ
data_tests:
- unique
- not_null
- name: stg_orders
description: Эта модель очищает данные о заказах
columns:
- name: order_id
description: Первичный ключ
data_tests:
- unique
- not_null
- name: status
data_tests:
- accepted_values:
arguments: # available in v1.10.5 and higher. Older versions can set the <argument_name> as the top-level property.
values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']
- name: customer_id
data_tests:
- not_null
- relationships:
arguments:
to: ref('stg_customers')
field: customer_id
- View in Catalog
- View in Studio IDE
Catalog предоставляет мощные инструменты для работы с вашими проектами dbt, в том числе с документацией:
- Выполните одну из следующих команд:
dbt docs generate, если вы используете dbt v1dbt build, если вы используете dbt v2
- Нажмите Catalog в меню навигации, чтобы открыть Catalog.
- По умолчанию Catalog отображает среду Production. Если в вашей учетной записи есть дополнительные среды (например, Staging), вы можете выбрать их в раскрывающемся списке сред.
- Выберите свой проект в дереве файлов.
- Используйте строку поиска или просмотрите список ресурсов, чтобы найти модель
customers. - Нажмите на модель, чтобы просмотреть сведения о ней, включая добавленные вами описания.
Catalog отображает описание вашей модели, документацию столбцов, тесты данных и граф зависимостей. Вы также можете видеть, для каких столбцов отсутствует документация, и отслеживать покрытие тестами во всем проекте.
Вы можете просматривать документацию непосредственно в IDE, если используете v1 Latest или другую версию dbt v1. Обратите внимание: это устаревший режим просмотра, который не обеспечивает такой же уровень интерактивности, как Catalog.
- В IDE выполните
dbt docs generate. - На панели навигации нажмите значок View docs, расположенный справа от имени ветки.
- В разделе Projects выберите имя своего проекта и разверните папки.
- Нажмите models > marts > customers.
Часто задаваемые вопросы
Зафиксируйте изменения
Теперь, когда вы построили модель customers, нужно закоммитить внесённые в проект изменения, чтобы в репозитории оказался ваш актуальный код.
Если вы вносили изменения непосредственно в защищённую основную ветку:
- Нажмите кнопку Commit and sync git. Это действие подготовит ваши изменения к коммиту.
- Появится модальное окно с заголовком Commit to a new branch.
- В модальном окне задайте новой ветке имя
add-customers-model. Будет создана ветка от вашей основной ветки с внесёнными изменениями. - Добавьте сообщение коммита, например «Добавлена модель customers, тесты и документация», и создайте коммит с вашими изменениями.
- Нажмите Merge this branch to main, чтобы добавить эти изменения в ветку main вашего репозитория.
Если вы создали новую ветку до редактирования:
- Поскольку вы уже ответвились от защищённой основной ветки, слева перейдите в Version Control.
- Нажмите Commit and sync, чтобы добавить сообщение.
- Добавьте сообщение коммита, например «Добавить модель customers, тесты и документацию».
- Нажмите Merge this branch to main, чтобы добавить эти изменения в ветку main вашего репозитория.
Разверните dbt
Используйте планировщик dbt, чтобы уверенно запускать задания в продакшене и обеспечивать наблюдаемость ваших процессов. Далее вы узнаете, как создать среду развертывания и запустить задание.
Создайте окружение развертывания (deployment environment)
- В главном меню перейдите в Orchestration > Environments.
- Нажмите Create environment.
- В поле Name введите имя среды развертывания. Например, "Production".
- В поле dbt version по умолчанию выбрана последняя доступная версия. Мы рекомендуем использовать последнюю версию dbt для всех новых проектов.
- В разделе Deployment connection введите имя набора данных, который вы хотите использовать в качестве целевого, например "Analytics". Это позволит dbt создавать объекты в этом наборе данных и работать с ним. В некоторых хранилищах данных целевой набор данных может называться «схемой».
- Нажмите Save.
Создайте и запустите job
Jobs — это набор команд dbt, которые вы хотите запускать по расписанию. Например, dbt build.
По мере того как бизнес jaffle_shop получает больше клиентов, а эти клиенты создают больше заказов, в исходных данных будет появляться больше записей. Поскольку вы материализовали модель customers как таблицу, вам нужно периодически пересобирать её, чтобы данные оставались актуальными. Это обновление будет происходить при запуске job.
- После создания окружения развертывания вы должны попасть на страницу нового окружения. Если нет — в главном меню выберите Orchestration, затем нажмите Jobs.
- Нажмите Create job > Deploy job.
- Укажите имя job (например, «Production run») и выберите окружение, которое вы только что создали.
- Прокрутите вниз до раздела Execution settings.
- В разделе Commands добавьте эту команду как часть job, если её нет:
dbt build
- (Версии dbt: v2.0 и новее) Добавлять шаг создания документации не нужно. При каждом запуске задания метаданные вашего проекта в Catalog обновляются автоматически.
- В этом упражнении не задавайте расписание запуска проекта — хотя проект вашей организации должен запускаться регулярно, для этого примера запуск по расписанию не нужен. Настройку запуска задания по расписанию иногда называют развёртыванием проекта.
- Нажмите Save, затем нажмите Run now, чтобы запустить задание.
- Нажмите на запуск и следите за его ходом в разделе Run summary.
- После завершения запуска (Версии dbt: v2.0 и новее) нажмите Catalog на панели навигации, чтобы изучить свой проект.
Поздравляем 🎉! Вы только что развернули свой первый dbt‑проект!
Часто задаваемые вопросы
Подключение к нескольким источникам данных
В этом кратком руководстве рассматривается использование dbt для выполнения моделей с данными из озера данных (S3) с помощью Starburst Galaxy в качестве движка запросов. В большинстве реальных сценариев данные, необходимые для выполнения моделей, распределены между несколькими источниками и хранятся в различных форматах. С помощью Starburst Galaxy, Starburst Enterprise и Trino вы можете выполнять модели с любыми необходимыми данными независимо от того, где они хранятся.
Если вы хотите попробовать это на практике, обратитесь к документации Starburst Galaxy, чтобы добавить другие источники данных и загрузить данные Jaffle Shop в выбранный источник. Затем доработайте модели, чтобы они запрашивали данные как из нового источника, так и из источника, созданного в этом кратком руководстве.
Теперь, когда ваш проект настроен и работает, подключите к нему свой ИИ-инструмент (например, Claude или ChatGPT) через dbt MCP server, чтобы задавать вопросы о моделях на естественном языке. Описания, тесты и семантические модели помогут сделать его ответы ещё лучше.










