Перейти к основному содержимому

Быстрый старт по движку dbt Fusion на платформе (для Coalesce)

Назад к гайдам
dbt Fusion engine
dbt platform
Quickstart
Beginner
Menu

    Введение​

    В этом руководстве вы сможете на практике поработать с dbt Fusion Engine в песочнице dbt platform во время Coalesce.

    к сведению

    Этот Quickstart-гид предназначен только для участников Coalesce, присутствующих на мероприятии лично и зарегистрированных на него.

    Продолжайте следовать этому руководству, чтобы получить практический опыт работы «с клавиатуры», а также предварительно ознакомиться с процессом в следующем видео.

    Раздел 1: Регистрация в Sandbox​

    Давайте начнем с получения доступа к песочнице Fusion!

    Форма для получения доступа к вашей Fusion Sandbox в dbt platform.Форма для получения доступа к вашей Fusion Sandbox в dbt platform.

    1. Перейдите по адресу https://workshops.us1.dbt.com/workshop
      (Примечание: чтобы получить доступ к странице регистрации, вам может понадобиться выйти из любого существующего аккаунта dbt Platform или открыть этот URL в режиме инкогнито)

    2. Введите имя, фамилию и корпоративный email.

    3. В выпадающем списке выберите воркшоп Mom’s Flower Shop.

    4. Введите код доступа, предоставленный на сайте Fusion @ Coalesce (ссылка доступна по QR-коду из вашего welcome-набора).

    5. Нажмите Complete Registration и запомните выданные временные email и пароль.

      💡 Аккаунты остаются активными в течение 7 дней, но для входа необходимо использовать временные email и пароль, выданные после регистрации. Сохраните их в заметках или менеджере паролей на время работы.

    6. Нажмите Login

    Раздел 2: Продуктивность разработчиков с Fusion​

    1. В левом меню навигации dbt platform нажмите Select a project и выберите Mom’s Flower Shop.

    2. В левом меню навигации нажмите Studio, чтобы открыть IDE с поддержкой Fusion.

    3. В приложении появится встроенный гайд с быстрыми ресурсами и видео о новых возможностях Fusion. Пожалуйста, уделите несколько минут ознакомлению с этими материалами!

    4. В файловом обозревателе Studio откройте файл models/staging/stg_flower_orders.sql.

    5. Используйте Preview CTE над первым CTE, чтобы просмотреть данные только для этого CTE (raw_flower_orders).

      💡 Fusion поддерживает модульный предпросмотр, что ускоряет отладку.

    6. Наведите курсор на звездочку в select *, чтобы увидеть имена столбцов и типы данных доступных колонок.

    💡 Fusion предоставляет живые метаданные и информацию о столбцах прямо во время написания кода.💡 Fusion предоставляет живые метаданные и информацию о столбцах прямо во время написания кода.
    1. Проверьте живое обнаружение ошибок в Fusion — внесите опечатку и нажмите Save
      (например, измените order_id на order_key), чтобы увидеть обратную связь в реальном времени. Наведите курсор на красную волнистую линию, чтобы посмотреть детали ошибки.
    Fusion может обнаруживать SQL-ошибки в реальном времени — прямо во время нап�исания кода и до отправки его в вашу data platform.Fusion может обнаруживать SQL-ошибки в реальном времени — прямо во время написания кода и до отправки его в вашу data platform.

    Обратите внимание: любые изменения файлов остаются локальными в вашем Studio IDE; для этой песочницы использование feature-веток не допускается.

    Раздел 3: Оркестрация по состоянию​

    1. В левом меню навигации перейдите в Orchestration → Environments → Production.

    2. В нижней части страницы перейдите к Prod Job (State Aware Orchestration Enabled).

    3. Откройте Settings, чтобы включить State Aware Orchestration. Отметьте Enable Fusion cost optimization features, затем раскройте этот пункт и установите флажок State Aware Orchestration. Нажмите Save.

    SAO легко включается через привычный экран конфигурации job.SAO легко включается через привычный экран конфигурации job.
    1. Вернитесь на страницу job, нажав Prod Job (State Aware Orchestration Enabled) в breadcrumb-цепочке над номером запуска (Run #).
    Вернитесь к самому job через breadcrumb-навигацию.Вернитесь к самому job через breadcrumb-навигацию.
    1. Нажмите Run now для Prod Job (State Aware Orchestration Enabled) и откройте запуск, чтобы посмотреть логи.
    Используйте кнопку Run now, чтобы запустить первый SAO-запуск.Используйте кнопку Run now, чтобы запустить первый SAO-запуск.

    1. После завершения откройте вкладку Lineage.

      Все модели должны иметь статус Success, так как это первый полный запуск проекта.

    2. Запустите job еще раз, снова нажав Run now, чтобы увидеть, как работает State aware orchestration!

    3. После завершения откройте вкладку Lineage, чтобы увидеть статусы Reuse у большинства моделей.
      Поскольку появились новые заказы на цветы, модели stg_flower_orders и все downstream-модели будут перезапущены (статус: success), а остальные модели будут переиспользованы, так как новых данных для них нет.

      💡 Fusion автоматически пропускает модели без свежих данных, сокращая время выполнения пайплайна и снижая затраты на data platform.

    4. На странице Prod Job (State Aware Orchestration Enabled) нажмите Models под разделом Overview.

      Просмотрите графики Models built vs. Models reused, чтобы отслеживать рост эффективности.

    💡 State aware orchestration гарантирует, что обрабатываются только измененные данные.💡 State aware orchestration гарантирует, что обрабатываются только измененные данные.

    Раздел 4: Узнайте больше​

    Загляните на dbt Booth в Discovery Hall, чтобы узнать больше о возможностях на базе Fusion, упомянутых в keynote: увидеть магию вживую на любом из наших demo pod, а также глубже разобраться в сценариях использования, историях успеха и деталях миграции в рамках ongoing lightning talks.

    • Узнайте больше о dbt Fusion Engine в документации: the dbt Fusion engine
    • Продолжайте изучать dbt на learn.getdbt.com
    • Узнайте больше о Coalesce — ведущей конференции по analytics engineering, где лидеры и практики данных переосмысливают инструменты и формируют будущее данных и AI.

    Нашли ошибку?

    0