Анализируйте данные в dbt
Введение
Как аналитик данных, вы играете ключевую роль в преобразовании сложных данных в достоверные выводы, на основе которых ваша команда может принимать решения. С помощью dbt вы можете использовать встроенные инструменты на базе ИИ, чтобы создавать модели данных с централизованным управлением, изучать, как они устроены, и даже проводить собственный анализ.
В этом quickstart вы узнаете, как:
- Используйте Catalog для просмотра и изучения моделей данных среди ресурсов dbt и Snowflake
- Используйте Insights для выполнения запросов, чтобы исследовать и проверять данные
- Используйте Canvas для визуального создания собственных моделей данных
- Обретайте уверенность в работе, используя dbt как рабочую среду с поддержкой ИИ
Подробнее об инструментах, которые вы будете использовать:
- Catalog: Просматривайте ресурсы проекта (например, модели, тесты и метрики), связи между ними и шаблоны запросов, чтобы лучше понимать текущее состояние проекта в производственной среде.
- Insights: Исследуйте, проверяйте данные и выполняйте запросы в интуитивно понятном интерфейсе с богатым контекстом, который объединяет технических и бизнес-пользователей благодаря метаданным, документации, инструментам с поддержкой ИИ и мощным возможностям выполнения запросов.
- Canvas: Быстро получайте доступ к данным и преобразуйте их с помощью визуального интерфейса с перетаскиванием элементов и встроенного ИИ для генерации кода под ваши задачи.
Предварительные требования
Перед началом убедитесь, что:
- У вас есть доступ к проекту dbt, и учетные данные для него настроены
- Ваша команда уже успешно выполнила задание dbt, поэтому модели построены и готовы к использованию
- У вас подключен Git-провайдер и настроена аутентификация
Рабочий процесс аналитика
Кимико, аналитик в Jaffle Shop, замечает, что у компании появилось много новых продаж, и хочет исследовать наиболее важные данные, которые хранятся в их хранилище.
Вопрос: стейкхолдеру интересно, сколько клиентов вы привлекали помесячно за последние 12 месяцев.
Кимико задаётся вопросом: «Как мне найти данные в нашем проекте, которые помогут ответить на этот вопрос?»
Разбор вопроса стейкхолдера
Она переходит в каталог данных, Catalog, войдя в dbt и нажав Catalog на левой панели. Поскольку вопрос касался клиентов, Кимико начинает с поиска по слову "customers" в Catalog:
Кимико находит модель customers, которая может ей подойти, и открывает её. В описании указано, что это витрина с основными сведениями о клиентах, по одной строке на каждого клиента.
Затем Кимико выбирает Columns, чтобы посмотреть, какие колонки используются в этой model.
Она замечает следующие колонки: customer_ID, customer_names и first_ordered_at.
Колонка first_ordered_at особенно привлекает внимание Кимико — она предполагает, что её можно использовать, чтобы определить, сколько клиентов было привлечено на основе даты их первого заказа.
Но сначала она решает поработать с данными напрямую, чтобы лучше их понять.
Запрос данных в Insights
На странице модели Customer в Catalog Кимико выбирает Analyze data в раскрывающемся меню Open in.... Это позволяет ей выполнять запросы к данным модели Customer. После открытия в Insights уже есть запрос, готовый к выполнению.
Выполнив запрос, Кимико может просмотреть лежащие в его основе данные. Тот же контекст, который она видела в Catalog, теперь доступен ей в редакторе SQL.
Просматривая данные, она видит информацию о каждом клиенте. Она также замечает столбец first_ordered_at. Кимико хочет написать запрос, но её навыки SQL немного подзабылись, поэтому она использует естественный язык в dbt Wizard:
Сколько новых клиентов мы получили в каждом месяце прошлого года? Я бы хотел(а) использовать мою модель клиентов и поле first ordered at, чтобы выполнить этот анализ.
dbt Wizard пишет SQL, который Кимико решает использовать:
select
date_trunc('month', first_ordered_at) as month,
count(customer_id) as new_customers
from {{ ref('customers') }}
where
date_part('year', first_ordered_at) = date_part('year', current_date) - 1
and customer_type = 'new'
group by 1
order by 1;
Кимико нажимает Replace, чтобы перенести весь SQL-код в свой редактор и заменить исходный запрос. Она выполняет новый запрос и просматривает данные, но решает ограничить диапазон дат, снова воспользовавшись dbt Wizard:
Можем ли мы ограничить даты 2024 годом?
Она проверяет новый фильтр на 2024 год и повторно запускает запрос:
select
date_trunc('month', first_ordered_at) as month,
count(customer_id) as new_customers
from {{ ref('customers') }}
where
date_part('year', first_ordered_at) = 2024
and customer_type = 'new'
group by 1
order by 1;
Результаты её устраивают, и она нажимает Details, чтобы посмотреть отчёт, сгенерированный ИИ, который включает заголовок и описание, исходный SQL и скомпилированный SQL.
Когда Кимико готова поделиться инсайтом со стейкхолдером, она нажимает Chart, чтобы увидеть график, автоматически заполненный данными из вкладки Data.
Она добавляет подписи к осям X и Y, например “Month of first order” и “Total new customers”, чтобы сделать итоговый отчёт более понятным. Затем она делает скриншот, чтобы поделиться им со стейкхолдером.
Кимико часто возвращается к этим данным, поэтому решает добавить страницу в закладки, нажав Bookmark в правом верхнем углу. Она также экспортирует данные в CSV-файл.
Визуализация результатов
Кимико беседует с коллегами и выясняет, что они выполняют очень похожие разовые запросы, поэтому решает превратить свой долго выполняющийся запрос, который она ранее добавила в закладки, в полноценную модель dbt с помощью Canvas. Это позволит ей поделиться моделью с другими, избежать дублирования работы и повысить эффективность команды.
Для этого она открывает запрос в Insights и нажимает Develop, затем *Develop in Canvas. SQL-запрос открывается в визуальном виде — как направленный ациклический граф (DAG).
Изучая model, она отмечает, что всё работает как ожидается: данные выбираются из customers, применяется фильтр на 2024 год, даты агрегируются по месяцам. Она запускает model в своей development‑среде и нажимает Commit, чтобы создать pull request.
Теперь вся команда Кимико — те, у кого есть такой же доступ, — может запускать эту model и видеть те же результаты! Более того, коллеги могут помогать ей улучшать model по мере усложнения запросов стейкхолдера, и Кимико будет получать пользу от их вклада.
Запрос становится моделью
В дальнейшем Кимико сможет вернуться к своему проекту в Catalog и запустить модель, чтобы получить актуальные результаты. Теперь она может:
- Запускать модель вручную — при этом также выполняются тесты, а изменения сохраняются в системе контроля версий, что позволяет Кимико отслеживать их с течением времени
- Настроить задание для запуска модели dbt по расписанию, например каждый понедельник для подготовки отчета заинтересованным сторонам
- Настроить уведомления в Slack на случай сбоя задания, чтобы оперативно устранять возникающие проблемы




