О Studio IDE

Интегрированная среда разработки dbt (Studio IDE) — это единый веб-интерфейс для разработки, тестирования, запуска и управления версиями проектов dbt. Она компилирует код dbt в SQL и выполняет его напрямую в вашей базе данных.

Studio IDE предлагает несколько сочетаний клавиш и функций редактирования для более быстрой и эффективной разработки и управления:

• Подсветка синтаксиса для SQL — упрощает различение различных частей кода, снижая количество синтаксических ошибок и повышая читаемость.
• AI copilot — используйте Copilot, помощника на базе ИИ, который может генерировать код с помощью естественного языка и создавать ресурсы (например, документацию, тесты и семантические модели) для вас — одним нажатием кнопки. Подробнее см. Разработка с Copilot.
• Автодополнение — предлагает имена таблиц, аргументы и названия столбцов по мере ввода, экономя время и уменьшая количество опечаток.
• Форматирование и линтинг кода — помогает легко стандартизировать и исправлять ваш SQL-код.
• Инструменты навигации — позволяют легко перемещаться по коду, переходить к конкретным строкам, находить и заменять текст, а также перемещаться между файлами проекта.
• Контроль версий — управляйте версиями кода всего в несколько кликов.
• Документация проекта — создавайте и просматривайте документацию проекта для вашего проекта dbt в реальном времени.
• Кнопка сборки, тестирования и запуска — собирайте, тестируйте и запускайте проект нажатием кнопки или с помощью командной панели Studio IDE.

Эти функции создают мощную среду редактирования для эффективной работы с SQL, подходящую как для опытных, так и для начинающих разработчиков.

Studio IDE включает version control, файлы/папки, редактор, командную строку/консоль и многое другое.

Включите тёмную тему для комфортного просмотра в условиях низкой освещённости.

Отключите блокировщики рекламы

Чтобы улучшить ваш опыт использования dbt, мы рекомендуем отключить блокировщики рекламы. Это связано с тем, что некоторые имена файлов проекта, такие как google_adwords.sql, могут напоминать рекламный трафик и вызывать срабатывание блокировщиков.

Предварительные требования

• Учетная запись dbt и лицензия Developer seat
• Настроенный git-репозиторий, а также git-провайдер с включенным доступом write. Подробные инструкции по настройке см. в Подключении учетной записи GitHub или Импорте проекта по git URL.
• Проект dbt, подключенный к платформе данных
• Настроенная среда разработки и учетные данные разработчика
• Среда должна использовать dbt версии 1.0 или выше

Возможности Studio IDE

Studio IDE содержит функции, которые упрощают разработку, сборку, компиляцию, запуск и тестирование моделей данных.

Чтобы понять, как работать с Studio IDE и элементами его пользовательского интерфейса, обратитесь к странице пользовательского интерфейса Studio IDE.

Функция	Описание
Сочетания клавиш Studio IDE	Вы можете получить доступ к различным командам и действиям в Studio IDE, используя соответствующие сочетания клавиш. Используйте их для типовых задач, таких как сборка измененных моделей или возобновление сборок после последней ошибки.
Контроль версий в IDE	Раздел контроля версий и кнопка git в Studio IDE позволяют применять концепцию контроля версий к вашему проекту непосредственно в Studio IDE. - Создавайте или изменяйте ветки, выполняйте git-команды с помощью кнопки git. - Фиксируйте или откатывайте отдельные файлы, щелкнув правой кнопкой мыши по отредактированному файлу. - Разрешайте конфликты слияния. - Переходите к репозиторию напрямую, щелкнув по имени ветки. - Редактируйте, форматируйте или выполняйте линтинг файлов и запускайте команды dbt в основной защищенной ветке, фиксируя изменения в новой ветке. - Используйте представление Git diff, чтобы увидеть изменения в файле перед созданием pull request. - Используйте кнопку Prune branches, чтобы удалять локальные ветки, удаленные из удаленного репозитория, поддерживая порядок в управлении ветками. - Подписывайте ваши git-коммиты, чтобы помечать их как «Verified». EnterpriseEnterprise +
Кнопка Preview и Compile	Вы можете скомпилировать или просмотреть код, фрагмент кода dbt или одну из ваших моделей dbt после редактирования и сохранения.
Copilot	Мощный помощник на базе ИИ, который может генерировать код с помощью естественного языка и создавать ресурсы (например, документацию, тесты, метрики и семантические модели) для вас — одним нажатием кнопки. StarterEnterpriseEnterprise +.
Кнопка Build, test, and run	Собирайте, тестируйте и запускайте проект нажатием кнопки или с помощью командной панели.
Командная панель	Вы можете вводить и выполнять команды из командной панели внизу Studio IDE. Используйте расширенный синтаксис выбора моделей, чтобы выполнять команды dbt напрямую в dbt. Также вы можете просматривать историю, статус и логи предыдущих запусков, нажав History слева от панели.
Перетаскивание	Перетаскивайте файлы из проводника файлов и используйте хлебные крошки файлов в верхней части Studio IDE для быстрой линейной навигации. Получайте доступ к соседним файлам в том же каталоге, щелкнув правой кнопкой мыши по файлу в цепочке навигации.
Организация вкладок и файлов	- Перемещайте вкладки, чтобы реорганизовать работу в IDE - Щелкните правой кнопкой мыши по вкладке, чтобы увидеть и выбрать список действий, включая дублирование файлов - Закрывайте несколько несохраненных вкладок, чтобы пакетно сохранить работу - Дважды щелкните по файлам, чтобы переименовать их
Поиск и замена	- Нажмите Command-F или Control-F, чтобы открыть панель поиска и замены в правом верхнем углу текущего файла в IDE. IDE подсвечивает результаты поиска в текущем файле и структуре кода. - Используйте стрелки вверх и вниз, чтобы переходить между совпадениями, когда их несколько. - Используйте стрелку влево, чтобы заменить текст на другой.
Множественные выделения	Вы можете делать несколько выделений для небольших и одновременных правок. Ниже приведены распространенные команды для добавления курсоров, позволяющие легко вставлять курсоры ниже или выше. - Option-Command-Down arrow или Ctrl-Alt-Down arrow - Option-Command-Up arrow или Ctrl-Alt-Up arrow - Нажмите Option и щелкните по области или нажмите Ctrl-Alt и щелкните по области
Lint и Format	Выполняйте линтинг и форматирование файлов одним нажатием кнопки с использованием SQLFluff, sqlfmt, Prettier и Black.
Автодополнение dbt	Функции автодополнения, помогающие разрабатывать быстрее: - Используйте ref для автодополнения имен моделей - Используйте source для автодополнения имени источника и имени таблицы - Используйте macro для автодополнения аргументов - Используйте env var для автодополнения переменных окружения - Начните вводить дефис (-), чтобы использовать встроенное автодополнение в YAML-файле - Автоматически создавайте модели из источников dbt одним нажатием кнопки.
DAG в IDE	Вы можете видеть, как модели используются в качестве строительных блоков слева направо для преобразования данных из сырых источников в очищенные модульные производные и финальные результаты в правой части DAG. Вид по умолчанию — 2+model+2 (отображаются узлы на расстоянии 2), однако вы можете изменить его на +model+ (полный DAG). Обратите внимание, что флаг --exclude не поддерживается.
Строка состояния	Эта область предоставляет полезную информацию о состоянии Studio IDE и проекта. Также доступны дополнительные опции, такие как включение светлой или темной темы, перезапуск Studio IDE или повторное клонирование репозитория.
Dark mode	From the status bar in the Studio IDE, enable dark mode for a great viewing experience in low-light environments.

Loading table...

Генерация кода

Studio IDE включает CodeGenCodeLens — мощную функцию, упрощающую создание моделей из источников одним нажатием кнопки. Чтобы воспользоваться этой функцией, нажмите действие Generate model рядом с каждой таблицей в YAML-файлах источников. Она автоматически создает базовую стартовую staging-модель, которую вы можете дальше развивать. Эта функция помогает оптимизировать рабочий процесс, автоматизируя первые шаги генерации моделей.

Валидация dbt YAML

Используйте dbt-jsonschema для проверки YAML-файлов dbt, что помогает задействовать возможности автодополнения и подсказок Studio IDE. Это также обеспечивает мгновенную обратную связь о структуре и синтаксисе YAML-файлов, помогая убедиться, что конфигурации проекта соответствуют требуемым стандартам.

Начало работы со Studio IDE

Чтобы начать пользоваться возможностями Studio IDE, сначала необходимо настроить среду разработки dbt. В следующих шагах мы опишем, как настроить учетные данные разработчика и получить доступ к Studio IDE. Если вы создаете новый проект, это будет автоматически выполнено в процессе настройки проекта.

Studio IDE использует учетные данные разработчика для подключения к вашей платформе данных. Эти учетные данные должны быть индивидуальными для вашего пользователя и не должны быть учетными данными суперпользователя или теми же учетными данными, которые вы используете для производственного развертывания dbt.

Настройте учетные данные разработчика:

1. Перейдите в раздел Credentials в настройках Your Profile, доступных по адресу https://YOUR_ACCESS_URL/settings/profile#credentials, заменив YOUR_ACCESS_URL на соответствующий Access URL для вашего региона и плана.
2. Выберите соответствующий проект из списка.
3. Нажмите Edit в правом нижнем углу страницы.
4. Введите данные в разделе Development Credentials.
5. Нажмите Save.

Настройте учётные данные разработчика в профиле

6. Перейдите в Studio IDE, нажав Studio в левом меню.
7. Инициализируйте проект и ознакомьтесь с Studio IDE и его замечательными функциями.

Отличная работа, вы готовы начать разработку и сборку моделей 🎉!

К рассмотрению

• Чтобы улучшить ваш опыт использования dbt, мы рекомендуем отключить блокировщики рекламы. Это связано с тем, что некоторые имена файлов проекта, такие как google_adwords.sql, могут напоминать рекламный трафик и вызывать срабатывание блокировщиков.

• Для сохранения производительности существует ограничение на размер файлов для репозиториев более 6 ГБ. Если размер вашего репозитория превышает 6 ГБ, пожалуйста, свяжитесь с поддержкой dbt перед запуском dbt.

• Тайм-аут неактивной сессии Studio IDE составляет один час.

•  About the start up process and work retention

  В следующих разделах описывается процесс запуска и сохранения работы в Studio IDE.

  • Процесс запуска

    Существует три состояния запуска при использовании или открытии Studio IDE:

    • Начальный запуск (Creation start) — состояние, при котором вы запускаете IDE в первый раз. Его также можно рассматривать как холодный старт (см. ниже); он занимает больше времени, так как происходит клонирование git-репозитория.
    • Холодный старт (Cold start) — процесс запуска новой сессии разработки, которая будет доступна в течение одного часа. Среда автоматически выключается через час после последней активности. Активностью считаются компиляция, предпросмотр или любой вызов dbt, однако не считается редактирование и сохранение файла.
    • Горячий старт (Hot start) — состояние возобновления существующей или активной сессии разработки в течение одного часа после последней активности.
      
      

  • Сохранение работы

    Studio IDE требует явного действия для сохранения ваших изменений. Существует три способа хранения вашей работы:

    • Несохраненный локальный код — браузер хранит ваш код только в локальном хранилище. В этом состоянии вам может потребоваться зафиксировать несохраненные изменения, чтобы переключить ветки или браузеры. Если вы сохранили и зафиксировали изменения, вы можете воспользоваться опцией «Change branch» даже при наличии несохраненных изменений. Однако при попытке переключить ветку без сохранения изменений появится предупреждение о потере несохраненных данных.
    Если вы попытаетесь переключить ветку без сохранения изменений, появится предупреждение о том, что вы потеряете свои изменения.
    • Сохраненный, но не зафиксированный код — при сохранении файла данные сохраняются в долговременном хранилище, но не синхронизируются с git. Чтобы переключить ветку с помощью опции Change branch, необходимо «Commit and sync» или «Revert» изменения. Переключение веток недоступно для сохраненного, но незафиксированного кода, чтобы избежать потери изменений.
    • Committed code — This is stored in the branch with your git provider and you can check out other (remote) branches.

Собирайте и документируйте ваши проекты

• Сборка, компиляция и запуск проектов — Вы можете build, compile, run и test dbt‑проекты через командную строку или кнопку Build. Используйте кнопку Build, чтобы быстро собрать, запустить или протестировать модель, над которой вы работаете. Studio IDE обновляется в реальном времени при запуске моделей, тестов, seeds и операций.

• Если модель или тест завершается с ошибкой, dbt упрощает просмотр и загрузку логов запусков ваших вызовов dbt для устранения проблемы.

• Используйте расширенный синтаксис выбора моделей dbt, чтобы запускать команды dbt напрямую в dbt.

• Используйте переменные окружения, чтобы динамически применять имя ветки Git. Например, использовать имя ветки в качестве префикса для схемы разработки.

• Запускайте команды MetricFlow для создания и управления метриками в вашем проекте с помощью Semantic Layer.

• Генерируйте конфигурации YAML с помощью Copilot — dbt Copilot — это мощная функция искусственного интеллекта (ИИ), помогающая автоматизировать разработку в dbt. Она может генерировать код с помощью естественного языка и создавать ресурсы (например, документацию, тесты, метрики и семантические модели) прямо в Studio IDE, позволяя вам делать больше за меньшее время. StarterEnterpriseEnterprise +

• Собирайте и просматривайте документацию проекта — Studio IDE позволяет создавать и просматривать документацию для вашего проекта dbt, пока код все еще находится в разработке. Такой рабочий процесс позволяет проверить и убедиться, как будет выглядеть сгенерированная документация проекта, до выпуска изменений в продакшен.

Связанные материалы

• Как мы оформляем наши dbt‑проекты
• Пользовательский интерфейс
• Основы version control
• Команды dbt

FAQs

 Есть ли стоимость использования Studio IDE?

Совсем нет! Вы можете использовать dbt, зарегистрировавшись на бесплатном плане Free Developer, который включает одно место разработчика. Если вам нужен доступ к большему количеству функций или дополнительных мест разработчика, вы можете обновить аккаунт до плана Starter, Enterprise или Enterprise+.

Подробнее см. тарифные планы dbt.

 Могу ли я быть контрибьютором в dbt

Как проприетарный продукт, исходный код dbt недоступен для вкладов сообщества. Если вы хотите создать что-то в экосистеме dbt, мы рекомендуем ознакомиться с этой статьей о внесении вклада в пакет dbt, плагин, dbt-core или этот сайт документации. Участие в open-source — отличный способ прокачать навыки разработчика и внести вклад в сообщество.

 В чём разница между разработкой в Studio IDE, dbt CLI и dbt Core?

Вы можете разрабатывать dbt, используя веб-IDE в dbt, либо через интерфейс командной строки с помощью Cloud CLI или open-source dbt Core, все из которых позволяют выполнять команды dbt. Ключевое отличие между Cloud CLI и dbt Core заключается в том, что Cloud CLI адаптирован под инфраструктуру dbt и интегрируется со всеми ее функциями:

• Studio IDE: dbt — это веб-приложение, позволяющее разрабатывать проекты dbt в IDE, включающее специализированный планировщик и предоставляющее более простой способ делиться документацией dbt с командой. IDE — это более быстрый и надежный способ развертывания моделей dbt и среда редактирования и выполнения в реальном времени для вашего проекта dbt.

• Cloud CLI: Cloud CLI позволяет запускать команды dbt для вашей среды разработки dbt из локальной командной строки или редактора кода. Он поддерживает cross-project ref, более быстрые и дешевые сборки, автоматическую отложенную подстановку артефактов сборки и многое другое.

• dbt Core: dbt Core — это программное обеспечение с открытым исходным кодом, доступное бесплатно. Вы можете разрабатывать проект dbt в редакторе кода и запускать команды dbt из командной строки.

Нашли ошибку?

Создать GitHub Issue