Перейти к основному содержимому

Быстрый старт для dbt и Snowflake

Платформа dbt
Быстрый старт
Snowflake
Начальный уровень
Menu

    Введение​

    В этом кратком руководстве вы узнаете, как использовать dbt со Snowflake. В нём показано, как:

    • Создать новый SQL-файл в Snowflake.
    • Загрузить примеры данных в свою учётную запись Snowflake.
    • Подключить dbt к Snowflake.
    • Взять пример запроса и преобразовать его в модель в своём проекте dbt. Модель в dbt — это оператор select.
    • Добавить источники в свой проект dbt. Источники позволяют задавать имена и описания для необработанных данных, уже загруженных в Snowflake.
    • Добавить тесты для своих моделей.
    • Создать документацию для своих моделей.
    • Настроить запуск задания по расписанию.
    Follow along with an AI assistantCopy and paste this prompt into your AI assistant to guide you through each step

    Snowflake также предлагает краткое руководство, которое поможет вам научиться использовать dbt. В нём используется другой общедоступный набор данных (Knoema Economy Data Atlas), отличающийся от представленного в этом руководстве. Подробнее см. в руководстве Ускорение работы команд по обработке данных с помощью dbt и Snowflake в документации Snowflake.

    Предварительные требования​​

    • У вас есть учетная запись dbt.
    • У вас есть пробная учетная запись Snowflake. При создании пробной учетной записи обязательно выберите редакцию Snowflake Enterprise, чтобы получить доступ с ролью ACCOUNTADMIN. Для полноценного внедрения при выборе облачного провайдера следует учитывать организационные вопросы. Подробнее см. раздел Введение в облачные платформы в документации Snowflake. Для этой настройки подойдут любые облачные провайдеры и регионы, поэтому выбирайте те, которые вам удобны.
    Видео для вас

    Если вам интересно обучение с помощью видеокурсов, вы можете бесплатно пройти курс dbt Fundamentals.

    Вы также можете посмотреть видео о dbt и Snowflake на YouTube.

    Создайте новый SQL-файл в Snowflake​

    1. Войдите в свою пробную учетную запись Snowflake.
    2. В интерфейсе Snowflake нажмите значок создания + в левом верхнем углу (под логотипом Snowflake), чтобы открыть раскрывающееся меню.
    3. Выберите первый пункт — SQL File.

    Загрузка данных​

    Данные хранятся в CSV-файлах в публичном бакете S3. Подготовьте аккаунт Snowflake и загрузите данные по инструкции ниже.

    1. Создайте виртуальное хранилище, две базы данных (для сырых данных и для разработки в dbt) и две схемы (для данных jaffle_shop и stripe).

      Введите следующие SQL-команды в редакторе нового SQL-файла Snowflake и нажмите Run:

      create warehouse transforming;
      create database raw;
      create database analytics;
      create schema raw.jaffle_shop;
      create schema raw.stripe;
    2. В базе данных raw и схемах jaffle_shop и stripe создайте три таблицы и загрузите в них данные:

      • Очистите редактор SQL-файла Snowflake и выполните команду создания таблицы customers:

        create table raw.jaffle_shop.customers
        ( id integer,
        first_name varchar,
        last_name varchar
        );
      • Очистите редактор и выполните команду загрузки данных в таблицу customers:

        copy into raw.jaffle_shop.customers (id, first_name, last_name)
        from 's3://dbt-tutorial-public/jaffle_shop_customers.csv'
        file_format = (
        type = 'CSV'
        field_delimiter = ','
        skip_header = 1
        );
      • Очистите редактор и выполните команду создания таблицы orders:

        create table raw.jaffle_shop.orders
        ( id integer,
        user_id integer,
        order_date date,
        status varchar,
        _etl_loaded_at timestamp default current_timestamp
        );
      • Очистите редактор и выполните команду загрузки данных в таблицу orders:

        copy into raw.jaffle_shop.orders (id, user_id, order_date, status)
        from 's3://dbt-tutorial-public/jaffle_shop_orders.csv'
        file_format = (
        type = 'CSV'
        field_delimiter = ','
        skip_header = 1
        );
      • Очистите редактор и выполните команду создания таблицы payment:

        create table raw.stripe.payment
        ( id integer,
        orderid integer,
        paymentmethod varchar,
        status varchar,
        amount integer,
        created date,
        _batched_at timestamp default current_timestamp
        );
      • Очистите редактор и выполните команду загрузки данных в таблицу payment:

        copy into raw.stripe.payment (id, orderid, paymentmethod, status, amount, created)
        from 's3://dbt-tutorial-public/stripe_payments.csv'
        file_format = (
        type = 'CSV'
        field_delimiter = ','
        skip_header = 1
        );
    3. Убедитесь, что данные загружены. Выполните следующие запросы и проверьте, что каждый возвращает строки:

      select * from raw.jaffle_shop.customers;
      select * from raw.jaffle_shop.orders;
      select * from raw.stripe.payment;

    Вы должны увидеть строки в результатах всех трёх запросов. Если инструкция create или copy into завершается ошибкой из-за недостаточных прав доступа, убедитесь, что ваша пробная учётная запись Snowflake использует редакцию Enterprise и что вы работаете с ролью ACCOUNTADMIN. Продолжайте, когда все три таблицы будут возвращать данные.

    Подключение dbt к Snowflake​

    Есть два способа подключить dbt к Snowflake. Первый вариант — Partner Connect: он упрощает настройку и позволяет создать учётную запись dbt прямо из вашей новой пробной учётной записи Snowflake. Второй вариант — создать учётную запись dbt отдельно и самостоятельно настроить подключение к Snowflake (подключиться вручную). Если вы хотите быстро начать работу, dbt Labs рекомендует использовать Partner Connect. Если вы хотите с самого начала настроить всё под свои потребности и познакомиться с процессом настройки dbt, dbt Labs рекомендует подключиться вручную.

    Partner Connect позволяет создать полноценный аккаунт dbt с подключением к Snowflake, управляемым репозиторием, окружениями и учётными данными.

    1. В левой боковой панели интерфейса Snowflake перейдите в Admin > Partner Connect. Найдите плитку dbt в разделе Data Integration или воспользуйтесь строкой поиска. Нажмите на плитку, чтобы подключиться к dbt.

      Snowflake Partner Connect BoxSnowflake Partner Connect Box

      Если вы используете классическую версию интерфейса Snowflake, нажмите кнопку Partner Connect в верхней панели аккаунта. Затем нажмите на плитку dbt, чтобы открыть окно подключения.

      Snowflake Classic UI - Partner ConnectSnowflake Classic UI - Partner Connect
    2. Во всплывающем окне Connect to dbt найдите опцию Optional Grant и выберите базы данных RAW и ANALYTICS. Это предоставит доступ новой роли пользователя dbt к каждой базе данных. Затем нажмите Connect.

      Snowflake Classic UI - Connection BoxSnowflake Classic UI - Connection Box
      Snowflake New UI - Connection BoxSnowflake New UI - Connection Box
    3. Нажмите Activate, когда появится всплывающее окно:

    Snowflake Classic UI - Actviation WindowSnowflake Classic UI - Actviation Window
    Snowflake New UI - Activation WindowSnowflake New UI - Activation Window
    1. Когда новая вкладка загрузится, вы увидите форму. Если вы уже создали учетную запись dbt, вам будет предложено указать имя учетной записи. Если вы еще не создали учетную запись, вам будет предложено указать имя учетной записи и пароль.

    2. После заполнения формы и нажатия Complete Registration вы будете автоматически авторизованы в .

    3. После того как вы заполните форму и нажмёте Complete Registration, вы автоматически войдёте в dbt.

    4. В меню слева нажмите на название своей учётной записи, затем выберите Account settings, выберите проект "Partner Connect Trial" и нажмите snowflake в обзорной таблице. Нажмите кнопку редактирования и укажите в полях Database и Warehouse значения analytics и transforming соответственно.

    dbt - Snowflake Project Overviewdbt - Snowflake Project Overview
    dbt — обновление базы данных и вычислительного хранилищаdbt — обновление базы данных и вычислительного хранилища

    Теперь в dbt должен открыться проект с подключением к Snowflake, использующим базу analytics и хранилище transforming. Partner Connect также создал управляемый репозиторий. Перейдите к разделу Инициализация проекта dbt и начало разработки.

    Настройка управляемого репозитория dbt​

    Если вы использовали Partner Connect, можете перейти сразу к разделу инициализация dbt‑проекта, так как Partner Connect уже предоставляет управляемый репозиторий. В противном случае вам потребуется создать подключение к репозиторию вручную.

    При разработке в dbt вы можете использовать Git для управления версиями кода.

    Чтобы подключиться к репозиторию, вы можете настроить управляемый репозиторий, размещённый на стороне dbt, или напрямую подключиться к поддерживаемому Git-провайдеру. Управляемые репозитории — отличный способ попробовать dbt без необходимости создавать новый репозиторий. В долгосрочной перспективе лучше подключиться к поддерживаемому Git-провайдеру, чтобы использовать такие возможности, как автоматизация и непрерывная интеграция.

    Чтобы настроить управляемый репозиторий:

    1. В разделе "Настроить репозиторий" выберите Управляемый.
    2. Введите имя для вашего репозитория, например, bbaggins-dbt-quickstart.
    3. Нажмите Создать. Создание и импорт вашего репозитория займет несколько секунд.
    4. Как только вы увидите сообщение "Репозиторий успешно импортирован", нажмите Продолжить.

    Инициализируйте проект dbt и начните разработку​

    Теперь, когда репозиторий настроен, вы можете инициализировать проект и начать разработку в dbt:

    1. Нажмите Start developing in the Studio IDE. Первый запуск проекта может занять несколько минут: за это время устанавливается соединение с Git, клонируется репозиторий и проверяется подключение к хранилищу данных.
    2. Над деревом файлов слева нажмите Initialize your project. Это создаст структуру папок с примерами моделей.
    3. Создайте первый коммит, нажав Commit and sync. Используйте сообщение коммита initial commit. Это создаст первый коммит в вашем управляемом репозитории и позволит создать ветку, в которой вы сможете добавлять новый код dbt.
    4. Теперь вы можете напрямую запрашивать данные из хранилища и выполнять dbt run. Попробуйте сделать это прямо сейчас:
      • Нажмите + Create new file, добавьте в новый файл этот запрос и нажмите Save as, чтобы сохранить новый файл:
        select * from raw.jaffle_shop.customers
      • В строке команд внизу введите dbt run и нажмите Enter. Должно появиться сообщение dbt run succeeded. Если возникнет ошибка из-за недостаточных прав доступа, прежде чем продолжить, выполните действия, описанные в следующем примечании.
    к сведению

    Если на этом этапе вы получаете ошибку недостаточных прав доступа (insufficient privileges) в Snowflake, возможно, роль Snowflake не имеет разрешений на доступ к сырым данным, на создание целевых таблиц и представлений, или и на то и на другое.

    Для устранения проблемы используйте роль с достаточными правами (например, ACCOUNTADMIN) и выполните следующие команды в Snowflake.

    Примечание: Замените snowflake_role_name на роль, которую вы планируете использовать. Если вы запустили dbt через Snowflake Partner Connect, используйте роль pc_dbt_role.

    grant all on database raw to role snowflake_role_name;
    grant all on database analytics to role snowflake_role_name;

    grant all on schema raw.jaffle_shop to role snowflake_role_name;
    grant all on schema raw.stripe to role snowflake_role_name;

    grant all on all tables in database raw to role snowflake_role_name;
    grant all on future tables in database raw to role snowflake_role_name;

    Создание первой модели​

    Если вы хотите использовать ИИ для создания своей первой модели, ознакомьтесь с подразделом создания модели с помощью dbt Wizard в следующем разделе.

    У вас есть два варианта работы с файлами в Studio IDE:

    • Создать новую ветку (рекомендуется) — Создайте новую ветку для редактирования файлов и фиксации изменений. Перейдите в раздел Version Control на левой боковой панели и нажмите Create branch.
    • Редактировать файлы в защищённой основной ветке — Если вы предпочитаете редактировать, форматировать файлы, проверять их линтером и выполнять команды dbt непосредственно в основной ветке git. Studio IDE не позволяет фиксировать изменения в защищённой ветке, поэтому вам будет предложено зафиксировать изменения в новой ветке.

    Назовите новую ветку add-customers-model.

    1. Нажмите ... рядом с директорией models, затем выберите Create file.
    2. Назовите файл customers.sql и нажмите Create.
    3. Скопируйте следующий запрос в файл и нажмите Save.
    with customers as (

    select
    id as customer_id,
    first_name,
    last_name

    from raw.jaffle_shop.customers

    ),

    orders as (

    select
    id as order_id,
    user_id as customer_id,
    order_date,
    status

    from raw.jaffle_shop.orders

    ),

    customer_orders as (

    select
    customer_id,

    min(order_date) as first_order_date,
    max(order_date) as most_recent_order_date,
    count(order_id) as number_of_orders

    from orders

    group by 1

    ),

    final as (

    select
    customers.customer_id,
    customers.first_name,
    customers.last_name,
    customer_orders.first_order_date,
    customer_orders.most_recent_order_date,
    coalesce(customer_orders.number_of_orders, 0) as number_of_orders

    from customers

    left join customer_orders using (customer_id)

    )

    select * from final
    1. Введите dbt run в командной строке внизу экрана. Запуск должен завершиться успешно, и вы увидите три модели.

    Позже вы сможете подключить свои инструменты бизнес-аналитики (BI), например dbt Charts, к этим представлениям и таблицам, чтобы они считывали только очищенные, а не сырые данные.

    Создайте модель с помощью ИИ в dbt Wizard​

    Не хотите писать SQL вручную? dbt Wizard может создать для вас ту же модель прямо в Studio IDE или на главной вкладке, опираясь на фактическую схему и граф зависимостей вашего проекта. Но будьте осторожны: говорят, волшебник умеет .

    1. Откройте dbt Wizard в Studio IDE.
    dbt Wizard выполняет рефакторинг модели и показывает граф зависимостей в интерфейсе чата.dbt Wizard выполняет рефакторинг модели и показывает граф зависимостей в интерфейсе чата.
    1. Введите запрос: «Создай модель customers, которая объединяет orders и customers и включает дату последнего заказа и общее количество заказов для каждого клиента».
    2. Проверьте SQL, сгенерированный dbt Wizard, затем примите его, чтобы сохранить модель.
    3. Введите dbt run, чтобы построить модель.

    В любом случае вы получите одну и ту же работающую модель. Узнайте больше о dbt Wizard на платформе dbt.

    Изменение способа материализации модели​

    Одной из самых мощных функций dbt является возможность изменять способ материализации модели в вашем хранилище данных, просто изменяя значение конфигурации. Вы можете переключаться между таблицами и представлениями, изменяя ключевое слово, вместо того чтобы писать язык определения данных (DDL) для выполнения этого за кулисами.

    По умолчанию все создается как представление. Вы можете переопределить это на уровне директории, чтобы все в этой директории материализовалось по-другому.

    1. Отредактируйте ваш файл dbt_project.yml.

      • Обновите имя вашего проекта на:

        dbt_project.yml
        name: 'jaffle_shop'
      • Настройте jaffle_shop так, чтобы всё внутри него материализовалось как таблица; и настройте example так, чтобы всё внутри него материализовалось как представление (view). Обновите конфигурацию models в YAML-файле проекта следующим образом:

        dbt_project.yml
        models:
        jaffle_shop:
        +materialized: table
        example:
        +materialized: view
      • Нажмите Сохранить.

    2. Введите команду dbt run. Ваша модель customers теперь должна быть построена как таблица!

      к сведению

      Для этого dbt сначала должен был выполнить оператор drop view (или API вызов на BigQuery), затем оператор create table as.

    3. Отредактируйте models/customers.sql, чтобы переопределить dbt_project.yml только для модели customers, добавив следующий фрагмент в начало, и нажмите Сохранить:

      models/customers.sql
      {{
      config(
      materialized='view'
      )
      }}

      with customers as (

      select
      id as customer_id
      ...

      )

    4. Введите команду dbt run. Ваша модель customers теперь должна быть построена как представление.

      • Пользователям BigQuery необходимо выполнить dbt run --full-refresh вместо dbt run, чтобы полностью применить изменения материализации.
    5. Введите команду dbt run --full-refresh, чтобы изменения вступили в силу в вашем хранилище данных.

    Часто задаваемые вопросы​

    Какие материализации доступны в dbt?
    Какую материализацию использовать для моей модели?
    Какие существуют конфигурации моделей?

    Удаление примерных моделей​

    Теперь вы можете удалить файлы, которые dbt создал при инициализации проекта:

    1. Удалите директорию models/example/.

    2. Удалите ключ example: из вашего файла dbt_project.yml, а также любые конфигурации, которые перечислены под ним.

      dbt_project.yml
      # до
      models:
      jaffle_shop:
      +materialized: table
      example:
      +materialized: view
      dbt_project.yml
      # после
      models:
      jaffle_shop:
      +materialized: table
    3. Сохраните изменения.

    Часто задаваемые вопросы​

    Как удалить удаленные модели из моего хранилища данных?
    Я получил сообщение об ошибке "неиспользуемые конфигурации модели", что это значит?

    Построение моделей поверх других моделей​

    Как лучшая практика в SQL, следует разделять логику, которая очищает ваши данные, от логики, которая трансформирует ваши данные. Вы уже начали делать это в существующем запросе, используя общие табличные выражения (CTE).

    Теперь вы можете поэкспериментировать, разделив логику на отдельные модели и используя функцию ref для построения моделей на основе других моделей:

    Граф, который мы хотим для нашего проекта dbtГраф, который мы хотим для нашего проекта dbt
    1. Создайте новый SQL‑файл models/stg_customers.sql с SQL из CTE customers в нашем исходном запросе.

    2. Создайте второй SQL‑файл models/stg_orders.sql с SQL из CTE orders в нашем исходном запросе.

      models/stg_customers.sql
      select
      id as customer_id,
      first_name,
      last_name

      from raw.jaffle_shop.customers
      models/stg_orders.sql
      select
      id as order_id,
      user_id as customer_id,
      order_date,
      status

      from raw.jaffle_shop.orders
    3. Отредактируйте SQL в файле models/customers.sql следующим образом:

      models/customers.sql
      with customers as (

      select * from {{ ref('stg_customers') }}

      ),

      orders as (

      select * from {{ ref('stg_orders') }}

      ),

      customer_orders as (

      select
      customer_id,

      min(order_date) as first_order_date,
      max(order_date) as most_recent_order_date,
      count(order_id) as number_of_orders

      from orders

      group by 1

      ),

      final as (

      select
      customers.customer_id,
      customers.first_name,
      customers.last_name,
      customer_orders.first_order_date,
      customer_orders.most_recent_order_date,
      coalesce(customer_orders.number_of_orders, 0) as number_of_orders

      from customers

      left join customer_orders using (customer_id)

      )

      select * from final

    4. Выполните dbt run.

      В этот раз при выполнении dbt run были созданы отдельные представления/таблицы для stg_customers, stg_orders и customers. dbt самостоятельно определил порядок выполнения моделей. Поскольку customers зависит от stg_customers и stg_orders, dbt собирает customers последней. Явно определять зависимости не требуется.

    Часто задаваемые вопросы​

    Как запустить одну модель за раз?
    Должны ли имена ресурсов, используемых в ref, быть уникальными?
    По мере создания новых моделей, как лучше организовать проект? Как называть модели?

    Построение моделей поверх источников​

    Источники (sources) позволяют именовать и описывать данные, загруженные в ваш warehouse инструментами извлечения и загрузки. Объявляя эти таблицы как источники в dbt, вы можете:

    • выбирать данные из source‑таблиц в моделях с помощью функции {{ source() }}, определяя lineage данных;
    • проверять ваши предположения о качестве исходных данных;
    • рассчитывать актуальность (freshness) исходных данных.
    1. Создайте новый YML‑файл models/sources.yml.

    2. Объявите источники, скопировав следующий код в файл и нажав Save.

      models/sources.yml

      sources:
      - name: jaffle_shop
      description: This is a replica of the Postgres database used by our app
      database: raw
      schema: jaffle_shop
      tables:
      - name: customers
      description: One record per customer.
      - name: orders
      description: One record per order. Includes cancelled and deleted orders.
    3. Отредактируйте файл models/stg_customers.sql, чтобы выбирать данные из таблицы customers источника jaffle_shop.

      models/stg_customers.sql
      select
      id as customer_id,
      first_name,
      last_name

      from {{ source('jaffle_shop', 'customers') }}
    4. Отредактируйте файл models/stg_orders.sql, чтобы выбирать данные из таблицы orders источника jaffle_shop.

      models/stg_orders.sql
      select
      id as order_id,
      user_id as customer_id,
      order_date,
      status

      from {{ source('jaffle_shop', 'orders') }}
    5. Выполните dbt run. Выполнение должно завершиться успешно и включать модели stg_customers, stg_orders и customers.

      Результаты dbt run будут точно такими же, как и на предыдущем шаге. Модели stg_customers и stg_orders по‑прежнему будут обращаться к тем же сырым данным в Snowflake. Используя source, вы можете тестировать и документировать сырые данные, а также понимать lineage ваших источников.

    Добавьте тесты к вашим моделям​

    Добавление data tests в проект помогает убедиться, что ваши модели работают корректно.

    Чтобы добавить data tests в проект:

    1. Создайте новый YAML-файл в директории models, назвав его models/schema.yml.

    2. Добавьте в файл следующее содержимое:

      models/schema.yml
      version: 2

      models:
      - name: customers
      columns:
      - name: customer_id
      data_tests:
      - unique
      - not_null

      - name: stg_customers
      columns:
      - name: customer_id
      data_tests:
      - unique
      - not_null

      - name: stg_orders
      columns:
      - name: order_id
      data_tests:
      - unique
      - not_null
      - name: status
      data_tests:
      - accepted_values:
      arguments: # available in v1.10.5 and higher. Older versions can set the <argument_name> as the top-level property.
      values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']
      - name: customer_id
      data_tests:
      - not_null
      - relationships:
      arguments:
      to: ref('stg_customers')
      field: customer_id

    3. Запустите dbt test и убедитесь, что все ваши тесты прошли успешно.

    Когда вы запускаете dbt test, dbt проходит по вашим YAML-файлам и создает запрос для каждого теста. Каждый запрос вернет количество записей, которые не прошли тест. Если это число равно 0, то тест считается успешным.

    Часто задаваемые вопросы​

    Какие тесты доступны для использования в dbt? Могу ли я добавить свои собственные тесты?
    Как протестировать одну модель за раз?
    Один из моих тестов не прошел, как я могу его отладить?
    Должен ли мой файл с тестами называться `schema.yml`?
    Почему файлы YAML для моделей и источников всегда начинаются с `version: 2`?
    Какие тесты данных стоит добавить в проект?
    Когда следует запускать data tests?

    Документируйте ваши модели​

    Добавление документации в ваш проект позволяет подробно описывать ваши модели и делиться этой информацией с вашей командой. Здесь мы добавим базовую документацию в наш проект.

    Обновите файл models/schema.yml, добавив описания, например приведённые ниже.

    models/schema.yml
    version: 2

    models:
    - name: customers
    description: Одна запись на каждого клиента
    columns:
    - name: customer_id
    description: Первичный ключ
    data_tests:
    - unique
    - not_null
    - name: first_order_date
    description: NULL, если клиент еще не сделал заказ.

    - name: stg_customers
    description: Эта модель очищает данные о клиентах
    columns:
    - name: customer_id
    description: Первичный ключ
    data_tests:
    - unique
    - not_null

    - name: stg_orders
    description: Эта модель очищает данные о заказах
    columns:
    - name: order_id
    description: Первичный ключ
    data_tests:
    - unique
    - not_null
    - name: status
    data_tests:
    - accepted_values:
    arguments: # available in v1.10.5 and higher. Older versions can set the <argument_name> as the top-level property.
    values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']
    - name: customer_id
    data_tests:
    - not_null
    - relationships:
    arguments:
    to: ref('stg_customers')
    field: customer_id

    Catalog предоставляет мощные инструменты для работы с вашими проектами dbt, в том числе с документацией:

    1. Выполните одну из следующих команд:
      • dbt docs generate, если вы используете dbt v1
      • dbt build, если вы используете dbt v2
    2. Нажмите Catalog в меню навигации, чтобы открыть Catalog.
    3. По умолчанию Catalog отображает среду Production. Если в вашей учетной записи есть дополнительные среды (например, Staging), вы можете выбрать их в раскрывающемся списке сред.
    Выбор среды в Catalog.Выбор среды в Catalog.
    1. Выберите свой проект в дереве файлов.
    2. Используйте строку поиска или просмотрите список ресурсов, чтобы найти модель customers.
    3. Нажмите на модель, чтобы просмотреть сведения о ней, включая добавленные вами описания.
    Просмотр документации модели и графа зависимостей в Catalog.Просмотр документации модели и графа зависимостей в Catalog.

    Catalog отображает описание вашей модели, документацию столбцов, тесты данных и граф зависимостей. Вы также можете видеть, для каких столбцов отсутствует документация, и отслеживать покрытие тестами во всем проекте.

    Часто задаваемые вопросы​

    Как писать развернутые объяснения в описаниях?
    Как получить доступ к документации в dbt Catalog?

    Зафиксируйте изменения​

    Теперь, когда вы построили модель customers, нужно закоммитить внесённые в проект изменения, чтобы в репозитории оказался ваш актуальный код.

    Если вы вносили изменения непосредственно в защищённую основную ветку:

    1. Нажмите кнопку Commit and sync git. Это действие подготовит ваши изменения к коммиту.
    2. Появится модальное окно с заголовком Commit to a new branch.
    3. В модальном окне задайте новой ветке имя add-customers-model. Будет создана ветка от вашей основной ветки с внесёнными изменениями.
    4. Добавьте сообщение коммита, например «Добавлена модель customers, тесты и документация», и создайте коммит с вашими изменениями.
    5. Нажмите Merge this branch to main, чтобы добавить эти изменения в ветку main вашего репозитория.

    Если вы создали новую ветку до редактирования:

    1. Поскольку вы уже ответвились от защищённой основной ветки, слева перейдите в Version Control.
    2. Нажмите Commit and sync, чтобы добавить сообщение.
    3. Добавьте сообщение коммита, например «Добавить модель customers, тесты и документацию».
    4. Нажмите Merge this branch to main, чтобы добавить эти изменения в ветку main вашего репозитория.

    Разверните dbt​

    Используйте планировщик dbt, чтобы уверенно запускать задания в продакшене и обеспечивать наблюдаемость ваших процессов. Далее вы узнаете, как создать среду развертывания и запустить задание.

    Создайте окружение развертывания (deployment environment)​

    1. В главном меню перейдите в Orchestration > Environments.
    2. Нажмите Create environment.
    3. В поле Name введите имя среды развертывания. Например, "Production".
    4. В поле dbt version по умолчанию выбрана последняя доступная версия. Мы рекомендуем использовать последнюю версию dbt для всех новых проектов.
    5. В разделе Deployment connection введите имя набора данных, который вы хотите использовать в качестве целевого, например "Analytics". Это позволит dbt создавать объекты в этом наборе данных и работать с ним. В некоторых хранилищах данных целевой набор данных может называться «схемой».
    6. Нажмите Save.

    Создайте и запустите job​

    Jobs — это набор команд dbt, которые вы хотите запускать по расписанию. Например, dbt build.

    По мере того как бизнес jaffle_shop получает больше клиентов, а эти клиенты создают больше заказов, в исходных данных будет появляться больше записей. Поскольку вы материализовали модель customers как таблицу, вам нужно периодически пересобирать её, чтобы данные оставались актуальными. Это обновление будет происходить при запуске job.

    1. После создания окружения развертывания вы должны попасть на страницу нового окружения. Если нет — в главном меню выберите Orchestration, затем нажмите Jobs.
    2. Нажмите Create job > Deploy job.
    3. Укажите имя job (например, «Production run») и выберите окружение, которое вы только что создали.
    4. Прокрутите вниз до раздела Execution settings.
    5. В разделе Commands добавьте эту команду как часть job, если её нет:
      • dbt build
    6. (Версии dbt: v2.0 и новее) Добавлять шаг создания документации не нужно. При каждом запуске задания метаданные вашего проекта в Catalog обновляются автоматически.
    7. В этом упражнении не задавайте расписание запуска проекта — хотя проект вашей организации должен запускаться регулярно, для этого примера запуск по расписанию не нужен. Настройку запуска задания по расписанию иногда называют развёртыванием проекта.
    8. Нажмите Save, затем нажмите Run now, чтобы запустить задание.
    9. Нажмите на запуск и следите за его ходом в разделе Run summary.
    10. После завершения запуска (Версии dbt: v2.0 и новее) нажмите Catalog на панели навигации, чтобы изучить свой проект.

    Поздравляем 🎉! Вы только что развернули свой первый dbt‑проект!

    Часто задаваемые вопросы​

    Что произойдет, если один из моих запусков завершится неудачей?
    Подключите свой ИИ-инструмент к этому проекту

    Теперь, когда ваш проект настроен и работает, подключите к нему свой ИИ-инструмент (например, Claude или ChatGPT) через dbt MCP server, чтобы задавать вопросы о моделях на естественном языке. Описания, тесты и семантические модели помогут сделать его ответы ещё лучше.

    Нашли ошибку?

    0