Перейти к основному содержимому

Анализируйте данные в dbt

Начните с вопроса стейкхолдера и проанализируйте данные, чтобы ответить на него, не написав ни одной строки SQL
Аналитика
Платформа dbt
Быстрый старт
Menu

    Введение​

    Как аналитик данных, вы играете ключевую роль в преобразовании сложных данных в достоверные выводы, на основе которых ваша команда может принимать решения. С помощью dbt вы можете использовать встроенные инструменты на базе ИИ, чтобы создавать модели данных с централизованным управлением, изучать, как они устроены, и даже проводить собственный анализ.

    В этом quickstart вы узнаете, как:

    • Используйте Catalog для просмотра и изучения моделей данных среди ресурсов dbt и Snowflake
    • Используйте Insights для выполнения запросов, чтобы исследовать и проверять данные
    • Используйте Canvas для визуального создания собственных моделей данных
    • Обретайте уверенность в работе, используя dbt как рабочую среду с поддержкой ИИ

    Подробнее об инструментах, которые вы будете использовать:

    • Catalog: Просматривайте ресурсы проекта (например, модели, тесты и метрики), связи между ними и шаблоны запросов, чтобы лучше понимать текущее состояние проекта в производственной среде.
    • Insights: Исследуйте, проверяйте данные и выполняйте запросы в интуитивно понятном интерфейсе с богатым контекстом, который объединяет технических и бизнес-пользователей благодаря метаданным, документации, инструментам с поддержкой ИИ и мощным возможностям выполнения запросов.
    • Canvas: Быстро получайте доступ к данным и преобразуйте их с помощью визуального интерфейса с перетаскиванием элементов и встроенного ИИ для генерации кода под ваши задачи.

    Предварительные требования​

    Перед началом убедитесь, что:

    • У вас есть доступ к проекту dbt, и учетные данные для него настроены
    • Ваша команда уже успешно выполнила задание dbt, поэтому модели построены и готовы к использованию
    • У вас подключен Git-провайдер и настроена аутентификация

    Рабочий процесс аналитика​

    Кимико, аналитик в Jaffle Shop, замечает, что у компании появилось много новых продаж, и хочет исследовать наиболее важные данные, которые хранятся в их хранилище.

    Вопрос: стейкхолдеру интересно, сколько клиентов вы привлекали помесячно за последние 12 месяцев.

    Кимико задаётся вопросом: «Как мне найти данные в нашем проекте, которые помогут ответить на этот вопрос?»

    Разбор вопроса стейкхолдера​

    Она переходит в каталог данных, Catalog, войдя в dbt и нажав Catalog на левой панели. Поскольку вопрос касался клиентов, Кимико начинает с поиска по слову "customers" в Catalog:

    Поиск customers в CatalogПоиск customers в Catalog

    Кимико находит модель customers, которая может ей подойти, и открывает её. В описании указано, что это витрина с основными сведениями о клиентах, по одной строке на каждого клиента.

    Затем Кимико выбирает Columns, чтобы посмотреть, какие колонки используются в этой model.

    Колонки в таблице customersКолонки в таблице customers

    Она замечает следующие колонки: customer_ID, customer_names и first_ordered_at.

    Колонка first_ordered_at особенно привлекает внимание Кимико — она предполагает, что её можно использовать, чтобы определить, сколько клиентов было привлечено на основе даты их первого заказа.

    Но сначала она решает поработать с данными напрямую, чтобы лучше их понять.

    Запрос данных в Insights​

    На странице модели Customer в Catalog Кимико выбирает Analyze data в раскрывающемся меню Open in.... Это позволяет ей выполнять запросы к данным модели Customer. После открытия в Insights уже есть запрос, готовый к выполнению.

    Выбор Analyze data в CatalogВыбор Analyze data в Catalog
    Открытие запроса в InsightsОткрытие запроса в Insights

    Выполнив запрос, Кимико может просмотреть лежащие в его основе данные. Тот же контекст, который она видела в Catalog, теперь доступен ей в редакторе SQL.

    Просматривая данные, она видит информацию о каждом клиенте. Она также замечает столбец first_ordered_at. Кимико хочет написать запрос, но её навыки SQL немного подзабылись, поэтому она использует естественный язык в dbt Wizard:

    Сколько новых клиентов мы получили в каждом месяце прошлого года? Я бы хотел(а) использовать мою модель клиентов и поле first ordered at, чтобы выполнить этот анализ.

    dbt Wizard пишет SQL, который Кимико решает использовать:

    select 
    date_trunc('month', first_ordered_at) as month,
    count(customer_id) as new_customers
    from {{ ref('customers') }}
    where
    date_part('year', first_ordered_at) = date_part('year', current_date) - 1
    and customer_type = 'new'
    group by 1
    order by 1;

    Кимико нажимает Replace, чтобы перенести весь SQL-код в свой редактор и заменить исходный запрос. Она выполняет новый запрос и просматривает данные, но решает ограничить диапазон дат, снова воспользовавшись dbt Wizard:

    Можем ли мы ограничить даты 2024 годом?

    Она проверяет новый фильтр на 2024 год и повторно запускает запрос:

    select 
    date_trunc('month', first_ordered_at) as month,
    count(customer_id) as new_customers
    from {{ ref('customers') }}
    where
    date_part('year', first_ordered_at) = 2024
    and customer_type = 'new'
    group by 1
    order by 1;

    Результаты её устраивают, и она нажимает Details, чтобы посмотреть отчёт, сгенерированный ИИ, который включает заголовок и описание, исходный SQL и скомпилированный SQL.

    Вкладка отчёта «Подробности»Вкладка отчёта «Подробности»

    Когда Кимико готова поделиться инсайтом со стейкхолдером, она нажимает Chart, чтобы увидеть график, автоматически заполненный данными из вкладки Data.

    Она добавляет подписи к осям X и Y, например “Month of first order” и “Total new customers”, чтобы сделать итоговый отчёт более понятным. Затем она делает скриншот, чтобы поделиться им со стейкхолдером.

    Кимико часто возвращается к этим данным, поэтому решает добавить страницу в закладки, нажав Bookmark в правом верхнем углу. Она также экспортирует данные в CSV-файл.

    Визуализация результатов​

    Кимико беседует с коллегами и выясняет, что они выполняют очень похожие разовые запросы, поэтому решает превратить свой долго выполняющийся запрос, который она ранее добавила в закладки, в полноценную модель dbt с помощью Canvas. Это позволит ей поделиться моделью с другими, избежать дублирования работы и повысить эффективность команды.

    Для этого она открывает запрос в Insights и нажимает Develop, затем *Develop in Canvas. SQL-запрос открывается в визуальном виде — как направленный ациклический граф (DAG).

    Изучая model, она отмечает, что всё работает как ожидается: данные выбираются из customers, применяется фильтр на 2024 год, даты агрегируются по месяцам. Она запускает model в своей development‑среде и нажимает Commit, чтобы создать pull request.

    Теперь вся команда Кимико — те, у кого есть такой же доступ, — может запускать эту model и видеть те же результаты! Более того, коллеги могут помогать ей улучшать model по мере усложнения запросов стейкхолдера, и Кимико будет получать пользу от их вклада.

    Запрос становится моделью​

    В дальнейшем Кимико сможет вернуться к своему проекту в Catalog и запустить модель, чтобы получить актуальные результаты. Теперь она может:

    • Запускать модель вручную — при этом также выполняются тесты, а изменения сохраняются в системе контроля версий, что позволяет Кимико отслеживать их с течением времени
    • Настроить задание для запуска модели dbt по расписанию, например каждый понедельник для подготовки отчета заинтересованным сторонам
    • Настроить уведомления в Slack на случай сбоя задания, чтобы оперативно устранять возникающие проблемы

    Нашли ошибку?

    0