О Studio IDE
Интегрированная среда разработки dbt (Studio IDE) — это единый веб-интерфейс для создания, тестирования, запуска проектов dbt и управления их версиями. Она компилирует код dbt в SQL и выполняет его непосредственно в вашей базе данных.
Studio IDE предлагает различные сочетания клавиш и возможности редактирования для ускорения и повышения эффективности разработки и управления:
- Разработка с ИИ-агентом: dbt Wizard — новый рекомендуемый ИИ-агент для разработки данных в dbt с соблюдением правил управления данными. Он использует контекст вашего проекта, чтобы помогать вам быстрее вносить изменения в dbt с соблюдением этих правил.
- dbt Copilot — отдельный от dbt Wizard встроенный ИИ-помощник dbt, который позволяет одним щелчком генерировать SQL, документацию, тесты и семантические модели в Studio IDE, Canvas и Insights.
- Автодополнение: предлагает таблицы, аргументы и столбцы по мере ввода.
- Форматирование и линтинг кода: приводит SQL-код к единому стилю и исправляет его.
- Инструменты навигации: переход к строкам, поиск и замена текста, навигация по файлам проекта.
- Управление версиями: управляйте версиями кода несколькими щелчками мыши.
- Документация проекта: создавайте и просматривайте документацию проекта в реальном времени.
- Кнопка сборки, тестирования и запуска: собирайте, тестируйте и запускайте проект с помощью кнопки или командной строки Studio IDE.
- Подсветка синтаксиса SQL: улучшает читаемость и помогает сократить количество синтаксических ошибок.
Эти возможности создают мощную среду редактирования для эффективной работы с SQL, подходящую как опытным, так и начинающим разработчикам.
Studio IDE включает управление версиями, файлы и папки, редактор, командную строку и консоль, а также другие инструменты.
Включите тёмную тему для комфортной работы при слабом освещении.Чтобы сделать работу с dbt удобнее, рекомендуем отключить блокировщики рекламы. Некоторые имена файлов проекта, например google_adwords.sql, могут напоминать рекламный трафик и вызывать срабатывание блокировщиков.
Предварительные требования
- Учётная запись dbt и лицензия на рабочее место Developer
- Настроенный репозиторий git и разрешённый доступ
writeу git-провайдера. Подробные инструкции по настройке см. в разделах Подключение учётной записи GitHub и Импорт проекта по URL-адресу git - Проект dbt, подключённый к платформе данных
- Настроенные среда разработки и учётные данные пользователя
- В среде должна использоваться dbt версии 1.0 или выше
Возможности Studio IDE
Studio IDE предоставляет возможности, упрощающие разработку, сборку, компиляцию, запуск и тестирование моделей данных.
Чтобы узнать, как работать с Studio IDE и элементами её интерфейса, обратитесь к странице Пользовательский интерфейс Studio IDE.
| Возможность | Описание |
|---|---|
| Сочетания клавиш Studio IDE | Вы можете использовать различные команды и действия в Studio IDE с помощью соответствующих сочетаний клавиш. Используйте их для типовых задач, таких как сборка изменённых моделей или возобновление сборки с места последнего сбоя. |
| Управление версиями в IDE | Раздел управления версиями и кнопка git в Studio IDE позволяют применять управление версиями к проекту непосредственно в Studio IDE. - Создавайте и переключайте ветки, выполняйте команды git с помощью кнопки git. - Создавайте коммиты или отменяйте изменения отдельных файлов, щёлкнув правой кнопкой мыши по изменённому файлу. - Разрешайте конфликты слияния. - Переходите непосредственно в репозиторий, нажав на имя ветки. - Редактируйте, форматируйте файлы, выполняйте линтинг и команды dbt в основной защищённой ветке, а затем создавайте коммит в новой ветке. - Используйте представление Git diff, чтобы увидеть изменения в файле перед созданием pull request. - Используйте кнопку Prune branches, чтобы удалять локальные ветки, уже удалённые из удалённого репозитория, и поддерживать порядок в ветках. - Подписывайте коммиты git, чтобы они получали отметку 'Verified'. EnterpriseEnterprise + |
| Кнопки Preview и Compile | Вы можете скомпилировать или предварительно просмотреть код, фрагмент кода dbt или одну из моделей dbt после редактирования и сохранения. |
| dbt Wizard | Разработка с ИИ-агентом в Studio IDE с соблюдением правил управления данными. Задавайте вопросы с учётом контекста проекта, генерируйте ресурсы, создавайте модели или выполняйте их рефакторинг по запросам на естественном языке — с опорой на зависимости, тесты и состояние моделей вашего проекта. |
| Кнопка сборки, тестирования и запуска | Собирайте, тестируйте и запускайте проект нажатием кнопки или с помощью командной строки. |
| Командная строка | Вы можете вводить и выполнять команды в командной строке в нижней части Studio IDE. Используйте расширенный синтаксис выбора моделей для выполнения команд dbt непосредственно в dbt. Также можно просматривать историю, статус и журналы предыдущих запусков, нажав History в левой части строки. |
| Перетаскивание | Перетаскивайте файлы в проводнике файлов и используйте навигационную цепочку файла в верхней части Studio IDE для быстрого последовательного перехода. Чтобы перейти к соседним файлам в той же папке, щёлкните правой кнопкой мыши по файлу в навигационной цепочке. |
| Организация вкладок и файлов | - Перемещайте вкладки, чтобы упорядочить работу в IDE. - Щёлкните правой кнопкой мыши по вкладке, чтобы просмотреть и выбрать действия из списка, включая дублирование файлов. - Закрывайте сразу несколько несохранённых вкладок, чтобы сохранить работу пакетно. - Дважды щёлкните по файлу, чтобы переименовать его. |
| Поиск и замена | - Нажмите Command-F или Control-F, чтобы открыть панель поиска и замены в правом верхнем углу текущего файла в IDE. IDE выделяет результаты поиска в текущем файле и структуре кода. - Если совпадений несколько, используйте стрелки вверх и вниз, чтобы перейти к выделенному совпадению в текущем файле. - Используйте стрелку влево, чтобы заменить текст другим. |
| Множественное выделение | Вы можете выделять несколько фрагментов для небольших одновременных правок. Следующие команды часто используются для добавления курсоров и позволяют легко вставлять их ниже или выше. - Option-Command-Down arrow или Ctrl-Alt-Down arrow - Option-Command-Up arrow или Ctrl-Alt-Up arrow - Удерживая Option, щёлкните в нужном месте, либо удерживайте Ctrl-Alt и щёлкните в нужном месте. |
| Линтинг и форматирование | Выполняйте линтинг и форматирование файлов одним нажатием кнопки с помощью SQLFluff, sqlfmt, Prettier и Black. |
| Автодополнение dbt | Возможности автодополнения для ускорения разработки: - Используйте ref для автодополнения имён моделей.- Используйте source для автодополнения имени источника и имени таблицы.- Используйте macro для автодополнения аргументов.- Используйте env var для автодополнения переменных окружения.- Начните вводить дефис (-), чтобы использовать встроенное автодополнение в YAML-файле. - Автоматически создавайте модели из источников dbt одним нажатием кнопки. |
| DAG в IDE | Вы можете увидеть, как модели используются в качестве строительных блоков слева направо, преобразуя данные из необработанных источников в очищенные модульные производные наборы и конечные результаты в крайней правой части DAG. По умолчанию используется представление 2+model+2 (отображаются узлы на расстоянии до 2 от модели), но его можно изменить на +model+ (полный DAG). Обратите внимание: флаг --exclude не поддерживается. |
| Строка состояния | Эта область предоставляет полезную информацию о состоянии Studio IDE и проекта. Здесь также доступны дополнительные возможности: включение светлой или тёмной темы, перезапуск Studio IDE и повторное клонирование репозитория. |
| Тёмная тема | Включите тёмную тему в строке состояния Studio IDE для комфортной работы при слабом освещении. |
Генерация кода
В Studio IDE есть CodeGenCodeLens — мощная функция, которая упрощает создание моделей из источников одним нажатием кнопки. Чтобы воспользоваться ею, нажмите Generate model рядом с нужной таблицей в YAML-файле источников. Она автоматически создаст базовую staging-модель, которую вы сможете доработать. Эта функция упрощает рабочий процесс, автоматизируя первые этапы создания модели.
Проверка YAML в dbt
Studio IDE использует JSON Schema из проекта с открытым исходным кодом dbt-jsonschema для автодополнения YAML, проверки структуры и диагностики прямо в редакторе. Эти схемы соответствуют спецификации dbt v2 и применяются во всех каналах выпуска dbt platform, даже если ваша среда разработки работает на dbt v1.
Если предупреждение кажется ошибочным, но команды dbt выполняются успешно, ориентируйтесь на команды проекта и сообщите о несоответствии, чтобы схему можно было улучшить. Подробнее о новом формате YAML для Semantic Layer см. в разделе Переход на последнюю спецификацию YAML.
dbt Wizard
dbt Wizard помогает быстрее разрабатывать надёжные проекты dbt в Studio IDE. Он понимает не только файл, который вы редактируете. Он использует dbt Information Schema, чтобы учитывать зависимости проекта, состояние моделей, покрытие тестами и семантические определения, и благодаря этому даёт ответы и рекомендации с учётом полного контекста проекта.
С dbt Wizard вы можете:
- Создавать модели и выполнять рефакторинг: опишите, что хотите создать или изменить, а затем проверьте предложенные изменения в diff до обновления файлов.
- Проверять изменения в процессе работы: компилируйте изменения с помощью dbt v2 и выполняйте их в хранилище данных, чтобы выявлять проблемы на раннем этапе.
- Понимать влияние на зависимые объекты: просматривайте затрагиваемые модели, тесты и метрики до внесения изменений.
- Генерировать YAML-ресурсы: создавайте документацию, тесты, семантические модели и метрики из консоли Studio IDE.
Для специалистов по работе с данными это означает меньше переключений между файлами, меньше ручного написания YAML и более быстрые итерации при сложном моделировании — всё в привычной рабочей среде
Чтобы начать работу, обратитесь к разделу dbt Wizard в Studio IDE.
dbt Wizard — рекомендуемый ИИ-агент для разработки данных с соблюдением правил управления в dbt. Он охватывает полный цикл разработки — исследование, создание, проверку и выпуск — с опорой на граф зависимостей, тесты, контракты и определения метрик вашего проекта dbt.
Дополнительную информацию см. в разделах Часто задаваемые вопросы об ИИ в dbt, Оплата и Условия использования dbt.
Начало работы со Studio IDE
Чтобы начать пользоваться возможностями Studio IDE, сначала необходимо настроить среду разработки dbt. Далее мы расскажем, как настроить учётные данные пользователя и получить доступ к Studio IDE. Если вы создаёте новый проект, эта настройка будет выполнена в процессе его создания.
Studio IDE использует учётные данные пользователя для подключения к платформе данных. Эти данные должны быть индивидуальными для вашего пользователя и не должны быть учётными данными суперпользователя или совпадать с данными, используемыми для производственного развёртывания dbt.
Настройте учётные данные пользователя:
- Перейдите в раздел Credentials в настройках Your Profile, доступный по адресу
https://YOUR_ACCESS_URL/settings/profile#credentials, заменивYOUR_ACCESS_URLна соответствующий URL-адрес доступа для вашего региона и тарифного плана. - Выберите нужный проект в списке.
- Нажмите Edit в правом нижнем углу страницы.
- Введите данные в разделе User credentials.
- Нажмите Save.
Настройте учётные данные пользователя в своём профиле- Перейдите в Studio IDE, нажав Studio в левом меню.
- Инициализируйте проект и ознакомьтесь с Studio IDE и её полезными возможностями.
Отлично, теперь вы готовы приступить к разработке и сборке моделей 🎉!
Особенности использования
-
Чтобы сделать работу с dbt удобнее, рекомендуем отключить блокировщики рекламы. Некоторые имена файлов проекта, например
google_adwords.sql, могут напоминать рекламный трафик и вызывать срабатывание блокировщиков. -
Для поддержания производительности действует ограничение размера файлов для репозиториев объёмом более 6 ГБ. Если размер вашего репозитория превышает 6 ГБ, обратитесь в службу поддержки dbt перед запуском dbt.
-
Время ожидания неактивного сеанса Studio IDE составляет один час.
-
О процессе запуска и сохранении работы
Следующие разделы описывают процесс запуска и сохранение работы в Studio IDE.
-
Процесс запуска
При использовании или запуске Studio IDE возможны три состояния запуска:
- Первоначальный запуск — Это состояние, в котором вы запускаете IDE впервые. Его также можно рассматривать как холодный запуск (см. ниже); он занимает больше времени, поскольку выполняется клонирование репозитория git.
- Холодный запуск — Это процесс запуска нового сеанса разработки, который будет доступен в течение одного часа. Среда автоматически отключается через час после последнего действия. К действиям относятся компиляция, предварительный просмотр или любой вызов dbt, но не относятся редактирование и сохранение файла.
- Горячий запуск — Это возобновление существующего или активного сеанса разработки в течение часа после последнего действия.
-
Сохранение работы
Для сохранения изменений в Studio IDE требуется явное действие. Существует три способа хранения вашей работы:
- Несохранённый локальный код — Браузер хранит код только в своём локальном хранилище. В этом состоянии для переключения веток или браузеров может потребоваться создать коммит со всеми несохранёнными изменениями. Если вы сохранили изменения и создали коммит, пункт "Change branch" доступен даже при наличии несохранённых изменений. Но при попытке переключить ветку без сохранения изменений появится предупреждение о том, что все несохранённые изменения будут потеряны.
При попытке переключить ветку без сохранения изменений появится предупреждение о том, что изменения будут потеряны.- Сохранённый код без коммита — При сохранении файла данные помещаются в надёжное долговременное хранилище, но не синхронизируются с git. Чтобы переключить ветку с помощью Change branch, необходимо выполнить "Commit and sync" или "Revert" для изменений. Переключение веток недоступно, если есть сохранённые изменения без коммита. Это предотвращает потерю изменений, не включённых в коммит.
- Код в коммите — Он хранится в ветке у вашего git-провайдера, и вы можете переключаться на другие (удалённые) ветки.
-
Сборка и документирование проектов
-
Сборка, компиляция и запуск проектов — Вы можете собирать, компилировать, запускать и тестировать проекты dbt с помощью командной строки или кнопки Build. Используйте кнопку Build, чтобы быстро собрать, запустить или протестировать модель, над которой работаете. Studio IDE обновляется в реальном времени при запуске моделей, тестов, seeds и операций.
- Если модель или тест завершается с ошибкой, dbt позволяет легко просматривать и скачивать журналы выполнения вызовов dbt, чтобы устранить проблему.
- Используйте расширенный синтаксис выбора моделей dbt для выполнения команд dbt непосредственно в dbt.
- Используйте переменные окружения для динамического использования имени ветки Git. Например, можно использовать имя ветки как префикс схемы разработки.
- Выполняйте команды MetricFlow для создания метрик проекта и управления ими с помощью Semantic Layer.
-
Разработка с dbt Wizard: dbt Wizard — новый рекомендуемый ИИ-агент для разработки данных в dbt с соблюдением правил управления данными. Он использует контекст вашего проекта, чтобы помогать вам быстрее вносить изменения в dbt с соблюдением этих правил.
dbt Copilot — отдельный от dbt Wizard встроенный ИИ-помощник dbt, который позволяет одним щелчком генерировать SQL, документацию, тесты и семантические модели в Studio IDE, Canvas и Insights.
-
Создание и просмотр документации проекта — Studio IDE позволяет создавать и просматривать документацию проекта dbt, пока код ещё находится в разработке. Такой рабочий процесс позволяет изучить и проверить, как будет выглядеть сгенерированная документация проекта, прежде чем изменения попадут в производственную среду.
