Примечания к выпускам платформы dbt за 2023 год
Архив примечаний к выпускам dbt за 2023 год
Декабрь 2023
-
Обновления семантического слоя
Команда dbt Labs продолжает работать над добавлением новых функций, исправлением ошибок и повышением надежности семантического слоя dbt. Следующий список более подробно объясняет обновления и исправления за декабрь 2023 года.
Исправления ошибок
- Интеграция с Tableau — Интеграция семантического слоя dbt с Tableau теперь поддерживает запросы, которые разрешаются в условие "NOT IN". Это относится к использованию "exclude" в интерфейсе фильтрации пользователей. Ранее это не поддерживалось.
- Поддержка
BIGINT— Семантический слой dbt теперь может поддерживать значенияBIGINTс точностью более 18. Ранее это вызывало ошибку. - Утечка памяти — Исправлена утечка памяти в JDBC API, которая ранее приводила к периодическим ошибкам при запросах.
- Поддержка преобразования данных — Добавлена поддержка преобразования различных типов данных, специфичных для Redshift и Postgres. Ранее драйвер выдавал ошибку при встрече с колонками таких типов.
Улучшения
- Устаревание — Мы объявили устаревшими метрики dbt и устаревший семантический слой dbt, которые поддерживались в версии dbt 1.5 или ниже. Это изменение вступило в силу 15 декабря 2023 года.
- Улучшенный инструмент конвертации dbt — Инструмент конвертации dbt теперь может помочь автоматизировать часть работы по конвертации из LookML (язык моделирования Looker) для тех, кто мигрирует. Ранее это не было доступно.
-
Внешние атрибуты
Функция расширенных атрибутов в dbt Cloud теперь общедоступна (GA)! Она позволяет на уровне окружения переопределять любые атрибуты YAML, которые адаптер dbt принимает в файле
profiles.yml. Вы можете указать фрагмент YAML, чтобы добавить или заменить любое значение профиля.Подробнее см. в разделе Расширенные атрибуты.
Текстовое поле Расширенные атрибуты доступно на странице настроек вашего окружения:
-
Устаревший семантический слой
dbt Labs объявил устаревшими метрики dbt и устаревший семантический слой dbt, которые поддерживались в версии dbt 1.5 или ниже. Это изменение вступает в силу 15 декабря 2023 года.
Это устаревание означает, что метрики dbt и устаревший семантический слой больше не поддерживаются. Мы также удалили эту функцию из пользовательского интерфейса dbt Cloud и сайта документации.
Почему это изменение?
Переизданный семантический слой dbt, работающий на MetricFlow, предлагает улучшенную гибкость, производительность и пользовательский опыт, что является значительным шагом вперед для сообщества dbt.
Ключевые изменения и влияние
- Дата устаревания — Устаревание устаревшего семантического слоя и метрик dbt официально произойдет 15 декабря 2023 года.
- Замена — MetricFlow заменяет метрики dbt для определения семантической логики. Пакет
dbt_metricsбольше не будет поддерживаться после устаревания. - Новая функция — Экспорт заменяет материализацию данных с функциональностью
metrics.calculateи будет доступен в dbt Cloud в декабре или январе.
Ломающее изменения и рекомендации
-
Для пользователей dbt версии 1.5 и ниже, использующих dbt Metrics и прокси Snowflake:
-
Последствия: После прекращения поддержки запросы, использующие прокси, не будут выполняться.
-
Для пользователей на версии dbt 1.5 и ниже, использующих метрики dbt без прокси Snowflake:
-
Влияние: Никаких немедленных нарушений, но пакет не будет получать обновления или поддержку после устаревания.
-
Рекомендация: Запланируйте миграцию на переизданный семантический слой для совместимости с версиями dbt 1.6 и выше.
Взаимодействие и поддержка
-
-
Обратная связь и поддержка сообщества — Общайтесь с командой dbt Labs и сообществом dbt в Slack и делитесь отзывами в таких каналах, как #dbt-cloud-semantic-layer и #dbt-metricflow. Или свяжитесь с вашим представителем dbt Cloud.
- Ресурсы для обновления — Ознакомьтесь с дополнительной информацией и ресурсами, которые помогут вам обновить версию dbt:
- Обновление версии в dbt Cloud
- Руководства по переходу на новые версии
Ноябрь 2023
-
Новые возможности и изменения интерфейса в dbt Catalog
В dbt Cloud появились новые улучшения качества жизни для уведомлений по электронной почте и Slack о ваших заданиях:
- Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
- Адреса, которые находятся за пределами вашей учетной записи dbt Cloud
- Адреса сторонних интеграций для настройки уведомлений для таких сервисов, как Microsoft Teams или PagerDuty
- Вы можете настраивать уведомления для нескольких каналов Slack. Ранее можно было настраивать только один канал Slack.
- Теперь любой администратор аккаунта может редактировать уведомления Slack, а не только тот, кто их создал.
Чтобы узнать больше, ознакомьтесь с Уведомлениями о заданиях.
- Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
-
Уведомления о заданиях
В dbt Cloud появились новые улучшения качества жизни для уведомлений по электронной почте и Slack о ваших заданиях:
- Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
- Адреса, которые находятся за пределами вашей учетной записи dbt Cloud
- Адреса сторонних интеграций для настройки уведомлений для таких сервисов, как Microsoft Teams или PagerDuty
- Вы можете настраивать уведомления для нескольких каналов Slack. Ранее можно было настраивать только один канал Slack.
- Теперь любой администратор аккаунта может редактировать уведомления Slack, а не только тот, кто их создал.
Чтобы узнать больше, ознакомьтесь с Уведомлениями о заданиях.
- Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
-
Кэширование репозитория
Теперь для планов dbt Cloud Enterprise доступна новая опция для включения кэширования Git-репозитория для ваших запусков заданий. При включении dbt Cloud кэширует Git-репозиторий вашего проекта dbt и использует кэшированную копию, если происходит сбой с поставщиком Git. Эта функция улучшает надежность и стабильность ваших запусков заданий.
Подробнее см. в разделе Кэширование репозитория.
Октябрь 2023
-
API dbt Cloud
Начиная с 1 декабря 2023 года, Administrative API версий v2 и v3 требует ограничивать результаты всех методов API для получения списков («list») или методов
GETдо 100 записей на один запрос к API. Это ограничение повышает эффективность и стабильность наших сервисов. Если вам нужно обработать более 100 записей, используйте параметры запросаlimitиoffsetдля постраничного получения результатов; в противном случае вы получите ошибку.Это ограничение максимального количества результатов применяется только к многопользовательским экземплярам (multi-tenant) и не применяется к однопользовательским экземплярам (single-tenant).
Подробнее о том, как реализовать пагинацию ответов API, см. разделы API v3 Pagination или API v2 Pagination.
-
dbt CLI
Мы рады объявить о выпуске dbt CLI — унифицированной командной строки для dbt, которая доступна в режиме публичного превью. Это локальная среда разработки, работающая на базе dbt Cloud. Начать работу очень просто: выполните
pip3 install dbtилиbrew install dbt, и вы готовы к работе.Мы продолжим инвестировать в IDE dbt Cloud как в самый простой и доступный способ начать использовать dbt, особенно для аналитиков данных, которые никогда не разрабатывали программное обеспечение с использованием командной строки. Мы будем продолжать улучшать скорость, стабильность и богатство функций IDE, как мы это делали весь год.
Мы также знаем, что многие люди, разрабатывающие в dbt, предпочитают локальную разработку, где они могут использовать свой любимый терминал, текстовый редактор, сочетания клавиш, цветовую схему и так далее. Это включает людей с опытом в области инженерии данных, а также тех аналитических инженеров, которые начали писать код в IDE dbt Cloud и расширили свои навыки.
Новый интерфейс командной строки dbt (CLI) объединяет лучшее из обоих подходов и предлагает:
- Возможность разработки на платформе dbt Cloud
- Гибкость вашей локальной настройки
Запускайте любые плагины, разработанные сообществом, хуки предварительного коммита или другие произвольные скрипты, которые вам нравятся.
Некоторые из уникальных возможностей этого dbt CLI включают:
- Автоматическое откладывание (deferral) артефактов сборки в production-окружение вашего проекта в Cloud
- Безопасное хранение учетных данных на платформе dbt Cloud
- Поддержку dbt Mesh (межпроектные
ref) (cross-projectref) - Рабочий процесс разработки для dbt Semantic Layer
- Более быстрые и менее затратные сборки
Подробнее см. в разделе dbt CLI.
-
Исправление пользовательской ветки
Если вы не зададите пользовательскую ветку для своей среды dbt Cloud, теперь по умолчанию будет использоваться ветка по умолчанию вашего Git-репозитория (например,
main). Ранее, если параметр Custom Branch не был задан, задания CI запускались для запросов на слияние (PR), открытых в любую ветку или обновлённых новыми коммитами.Azure DevOps
Ваши запросы на вытягивание (PR) могут не срабатывать против вашей ветки по умолчанию, если вы используете Azure DevOps, и ветка по умолчанию не является
mainилиmaster. Чтобы решить эту проблему, установите пользовательскую ветку с веткой, которую вы хотите нацелить. -
Автоустановка dbt deps
dbt Cloud IDE и dbt CLI теперь автоматически выполняют
dbt depsпри запуске окружения или при необходимости. Ранее во время инициализации инструмент предлагал пользователю вручную запуститьdbt deps.Этот улучшенный рабочий процесс доступен всем пользователям многоарендного dbt Cloud (поддержка одноарендных пользователей появится на следующей неделе) и применяется к версиям dbt.
Тем не менее, вам все равно следует запускать команду
dbt depsв следующих ситуациях:- Когда вы вносите изменения в файл
packages.ymlилиdependencies.ymlво время сеанса - Когда вы обновляете версию пакета в файле
packages.ymlилиdependencies.yml. - Если вы редактируете файл
dependencies.yml, и количество пакетов остается прежним, запуститеdbt deps. (Обратите внимание, что это известная ошибка, которую dbt Labs исправит в будущем.)
- Когда вы вносите изменения в файл
-
Поддержка повторных попыток
Ранее в dbt Cloud вы могли только перезапустить задание с ошибкой с самого начала, но теперь вы также можете перезапустить его с точки его сбоя.
Вы можете увидеть, какое задание не удалось завершить успешно, какая команда не удалась на этапе выполнения и выбрать, как его перезапустить. Чтобы узнать больше, обратитесь к Повторным попыткам заданий.
-
Обновления документации продукта
Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Во-первых, мы хотели бы поблагодарить 15 новых участников сообщества, которые внесли вклад в docs.getdbt.com. Мы объединили 107 PR в сентябре.
Вот что нового на docs.getdbt.com:
- Перенос документации с Netlify на Vercel.
☁ Проекты Cloud
- Задания непрерывной интеграции теперь общедоступны и больше не находятся в стадии бета-тестирования!
- Добавлена страница настройки PrivateLink для Postgres.
- Опубликована документация по бета-версии dbt Explorer.
- Добавлена новая документация по GraphQL API для Semantic Layer и обновлена документация по интеграциям: в неё включён Hex. С учётом отзывов сообщества dbt уточнены сценарии использования Metricflow в dbt Core и dbt Cloud.
- Добавлен ответ на часто задаваемый вопрос о том, как перейти от одного Git-провайдера к другому в dbt Cloud.
- Уточнён пример и добавлен раздел устранения неполадок в документацию по подключению к Snowflake с описанием распространённых ошибок и способов их устранения.
🎯 Проекты Core
-
Документация для dbt Core v1.0 и v1.1 помечена как устаревшая.
- Добавлены инструкции по настройке плагина AWS Glue, поддерживаемого сообществом.
- Переработано краткое руководство по началу работы с dbt Core, чтобы упростить его использование. Руководство разделено на шаги по аналогии с другими руководствами.
Новые 📚 Руководства, ✏️ блог-посты и FAQ
Добавлен шаблон стиля, который вы можете скопировать и вставить, чтобы убедиться, что вы соблюдаете лучшие практики при стилизации проектов dbt!
Предстоящие изменения
Ожидайте множество релизов в октябре и фильтруемый раздел руководств, который упростит поиск руководств!
-
Семантический слой GA
Если вы используете устаревший Semantic Layer, мы настоятельно рекомендуем обновить версию dbt до dbt v1.6 или выше и перейти на новейшую версию Semantic Layer.
dbt Labs с радостью объявляет, что семантический слой dbt теперь доступен в общем доступе. Он предлагает последовательную организацию данных, улучшенное управление, сниженные затраты, повышенную эффективность и доступные данные для лучшего принятия решений и сотрудничества в организациях.
Он направлен на то, чтобы принести лучшее из моделирования и семантики в downstream-приложения, вводя:
-
Совершенно новые интеграции, такие как Tableau, Google Sheets, Hex, Mode и Lightdash.
- Новые API семантического слоя, использующие GraphQL и JDBC для запроса метрик и создания интеграций.
- Поддержка мультитенантных региональных развертываний dbt Cloud для Северной Америки, EMEA и APAC. Поддержка однотенантных развертываний появится в ближайшее время.
- Скоро — Запуск экспорта по расписанию (способ создания таблиц на вашей платформе данных) в рамках задания dbt Cloud. Используйте API для запуска экспорта, а затем получайте доступ к экспортированным данным в предпочитаемом BI-инструменте.
Используйте универсальный семантический слой dbt для определения и запроса метрик в интегрированных инструментах.Семантический слой dbt доступен в мультитенантных развертываниях на тарифах dbt Cloud Team или Enterprise при использовании dbt версии 1.6 или выше.
- Клиенты тарифов Team и Enterprise могут выполнять 1 000 запросов метрик (Queried Metrics) в месяц без дополнительной платы в рамках ограниченного пробного периода с учетом ограничений разумного использования. Подробнее см. в разделе Оплата.
- Пользователи тарифа dbt Developer и пользователи dbt v1 могут определять метрики, но не смогут запрашивать их через интегрированные инструменты.
-
Сентябрь 2023
-
Обновления CI
Теперь в dbt Cloud есть два отдельных типа jobs: deploy jobs для сборки production data assets и jobs для continuous integration (CI) для проверки изменений кода. Эти jobs выполняют принципиально разные задачи, поэтому dbt Labs улучшила процесс настройки, добавив более удачные настройки по умолчанию для каждого типа.
Благодаря двум типам jobs вместо одного универсального типа мы можем лучше проводить вас через процесс настройки. Best practices встроены в настройки по умолчанию, поэтому вы можете перейти от интереса к готовой настройке за считанные секунды.
Кроме того, сравнение состояний при проверках CI стало эффективнее: больше не нужно тратить ресурсы на сборку или тестирование кода, который не изменился. Теперь мы эффективнее сравниваем код из pull request (PR) в Git с кодом, работающим в продакшене, благодаря возможности использовать состояние окружения, а не задания, для отложенного разрешения ссылок (deferral). Подробнее см. в разделе Непрерывная интеграция в dbt.
Ниже — сравнительная таблица, описывающая, чем отличаются deploy jobs и CI jobs:
Deploy Jobs CI Jobs Назначение Собирает production data assets. Собирает и тестирует новый код перед merge изменений в production. Типы триггеров Запускается по расписанию или через API. Запускается коммитом в PR или через API. Место сборки Собирает в production database и schema. Собирает в staging database и ephemeral schema, существующую на протяжении жизни PR. Режим выполнения Запускает execute последовательно, чтобы не было коллизий на базовом DAG. Запускает execute параллельно, чтобы ускорять работу команд. Экономия запусков Определяет избыточно запланированные jobs и отменяет лишние запуски, чтобы не забивать очередь. Отменяет текущие запуски, когда пушится более новый коммит, чтобы избежать повторной работы. Сравнение state Лишь иногда требуется определять state. Почти всегда нужно сравнивать state с production environment, чтобы собирать измененный код и его зависимости. Что нужно обновить
-
Если вы хотите настроить CI environment для ваших jobs, dbt Labs рекомендует создать CI job в отдельном deployment environment, который подключен к staging database. Подробнее о best practices для environments см. руководство Get started with continuous integration tests.
-
Если вы настроили CI job до 2 октября 2023, после этого обновления job могла быть ошибочно классифицирована как deploy job. Ниже описано, как исправить тип job:
Если вы использовали API endpoint Create Job, но не указали
"triggers":triggers.git_provider_webhook, job была классифицирована как deploy job, и вам нужно пересоздать ее, как описано в Trigger a CI job with the API.Если вы использовали интерфейс dbt, но не включили опцию Run on Pull Requests, которая находилась на вкладке Continuous Integration (CI), задание было ошибочно классифицировано как задание развертывания, и его необходимо создать заново, как описано в разделе Настройка заданий CI.
Чтобы проверить тип задания, просмотрите свои задания CI в истории запусков dbt и проверьте наличие метки CI Job под названием задания. Если этой метки нет, задание было ошибочно классифицировано и его необходимо создать заново.
CI update phase 3 — Обновление: улучшено автоматическое удаление временных схем
Временные схемы теперь автоматически удаляются (drop) для всех адаптеров (например, Databricks), подключений PrivateLink и переменных окружения в connection strings.
dbt Labs переработала архитектуру удаления схем для запусков continuous integration (CI). Мы создали новый сервис, который удаляет любую schema с префиксом
dbt_cloud_pr_, созданную PR-запуском.Однако временные схемы не будут удаляться автоматически, если:
- Ваш проект переопределяет макрос generate_schema_name, но в нем нет требуемого префикса
dbt_cloud_pr_. Подробности см. в разделе Troubleshooting. - Вы используете ненативную интеграцию Git. Это связано с тем, что автоматическое удаление зависит от входящих webhook’ов от провайдеров Git, а это доступно только через нативные интеграции.
-
-
Обновления продуктовой документации
Привет от команды Product Documentation в dbt (той самой, которая отвечает за сайт docs.getdbt.com): @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun. Каким насыщенным выдалось лето! Мы смёрджили 256 PR в период с 1 июля по 31 августа.
Мы хотим отметить вклад и поддержку со стороны нашей партнерской команды Developer Experience: @jasnonaz @gwenwindflower @dbeatty10 @dataders @joellabes @Jstein77 @dave-connors-3!
Также выражаем особую благодарность 22 участникам сообщества, которые впервые внесли вклад в dbt Product docs. На основе обратной связи от сообщества dbt мы внесли следующие изменения:
-
Добавлена таблица разрешений для учетных записей Enterprise
- Добавлена страница о сеансах браузера, на которой поясняется длительность сеанса браузера в dbt Cloud и условия автоматического выхода пользователей из системы.
Вы можете оставить отзыв, создав pull request или issue в нашем репозитории или написав в канал Slack сообщества dbt #dbt-product-docs).
Вы можете оставить обратную связь, открыв pull request или issue в нашем репозитории, или написав в Slack‑сообществе dbt в канал #dbt-product-docs).
-
Добавлена возможность сворачивать разделы, которые вы сейчас не просматриваете. Об этом просили довольно многие пользователи, да и нам самим этого не хватало, поэтому мы рады, что наконец реализовали эту возможность!
-
Введено понятие «доверенных» адаптеров.
-
Добавили возможность сворачивать секции, которые вы сейчас не просматриваете. Многие этого хотели, и нас это тоже раздражало, так что мы рады, что успели доставить!
-
Ввели понятие «Trusted» адаптеров.
-
-
Виджет обновлений продукта Что нового? снова доступен в интерфейсе dbt Cloud! Команда документации начнёт обновлять его содержимое, чтобы держать вас в курсе новых возможностей.
- Опубликована обновлённая документация по бета-версии Semantic Layer, которая знакомит пользователей с новым API и новым руководством по настройке MetricFlow и нового Semantic Layer. Также переработан раздел «Использование dbt Semantic Layer».
- Обновлена документация по Admin API v2 и v3, чтобы помочь вам разобраться в различиях между ними и понять, какая версия включает используемые вами эндпоинты.
- Чтобы упростить поиск информации, команда документации внесла изменения в боковую панель раздела о развёртывании dbt. Мы добавили карточки и привели структуру раздела в большее соответствие с интерфейсом dbt Cloud и тем, как его используют.
- Устаревшие схемы заданий в Discovery API объявлены устаревшими.
- Добавлена страница с описанием экспериментальных функций и функций в бета-версии в dbt Cloud и важной информацией об их использовании.
- Добавлен раздел, представляющий новую функцию в бета-версии Extended Attributes, которая позволяет пользователям задавать гибко настраиваемый фрагмент
profiles.ymlв настройках окружения dbt Cloud.
🎯 Основные проекты
-
Узнайте, как присоединиться к сообществу dbt.
- Среди публикаций в блоге за это лето — Оптимизация материализованных представлений с помощью dbt, Data Vault 2.0 с dbt Cloud и Создавайте документацию и тесты dbt в 10 раз быстрее с помощью ChatGPT
- Теперь у нас есть два новых руководства по лучшим практикам: Как мы создаём наши метрики и Настройка непрерывной интеграции.
-
-
Удаление prerelease-версий
Ранее, когда dbt Labs выпускала новую версию в dbt Cloud, предыдущая предварительная версия исправления и последняя версия оставались доступными для выбора в раскрывающемся меню в разделе Настройки окружения. Теперь при выпуске последней версии предварительная версия будет удаляться, а все клиенты, которые всё ещё её используют, будут автоматически переведены на новую версию. Этот переход не приведёт к перебоям в работе сервиса.
Чтобы посмотреть, какую версию вы используете сейчас, и выполнить обновление, выберите Deploy в верхней навигации и откройте Environments. Выберите нужное окружение и нажмите Settings. Нажмите Edit, чтобы изменить текущую версию dbt. dbt Labs рекомендует по возможности всегда использовать последнюю версию, чтобы получать доступ к новым функциям и возможностям.
Август 2023
-
Прекращение поддержки конечных точек Discovery API
dbt Labs уже объявила некоторые шаблоны запросов устаревшими и продолжит этот процесс, заменяя их новыми подходами для повышения производительности Discovery API в dbt Cloud.
Все эти изменения вступят в силу 7 сентября 2023 года.
Мы понимаем, что эти изменения могут потребовать корректировок в ваших существующих интеграциях с Discovery API. Пожалуйста, свяжитесь с нами, если у вас возникнут вопросы. Мы готовы помочь вам в этот переходный период.
Запросы на основе вакансий
Job-based запросы, использующие тип данных
Intдля ID, будут объявлены устаревшими. Они будут помечены как deprecated в GraphQL explorer. Новое соглашение предполагает использование типа данныхBigInt.Это изменение вступит в силу с 7 сентября 2023 года.
Пример запроса до объявления устаревшим:
query ($jobId: Int!) {
models(jobId: $jobId){
uniqueId
}
}Сообщить об ошибке в кодеПример запроса после объявления устаревшим:
query ($jobId: BigInt!) {
job(id: $jobId) {
models {
uniqueId
}
}
}Сообщить об ошибке в кодеЗапросы modelByEnvironment
Объект
modelByEnvironmentбыл переименован и перемещён внутрь объектаenvironment. Это изменение уже действует с 15 августа 2023 года.Пример запроса до объявления устаревшим:
query ($environmentId: Int!, $uniqueId: String) {
modelByEnvironment(environmentId: $environmentId, uniqueId: $uniqueId) {
uniqueId
executionTime
executeCompletedAt
}
}Сообщить об ошибке в кодеПример запроса после объявления устаревшим:
query ($environmentId: BigInt!, $uniqueId: String) {
environment(id: $environmentId) {
applied {
modelHistoricalRuns(uniqueId: $uniqueId) {
uniqueId
executionTime
executeCompletedAt
}
}
}
}Сообщить об ошибке в кодеЗапросы к средам и аккаунтам
Запросы к окружениям и аккаунтам, использующие тип
Intдля ID, объявлены устаревшими. Теперь ID должны передаваться в форматеBigInt. Это изменение действует с 15 августа 2023 года.Пример запроса до объявления устаревшим:
query ($environmentId: Int!, $first: Int!) {
environment(id: $environmentId) {
applied {
models(first: $first) {
edges {
node {
uniqueId
executionInfo {
lastRunId
}
}
}
}
}
}
}Сообщить об ошибке в кодеПример запроса после объявления устаревшим:
query ($environmentId: BigInt!, $first: Int!) {
environment(id: $environmentId) {
applied {
models(first: $first) {
edges {
node {
uniqueId
executionInfo {
lastRunId
}
}
}
}
}
}
}Сообщить об ошибке в коде -
dbt Cloud IDE v1.2
Мы рады сообщить, что заменили backend‑сервис, на котором работает Cloud IDE, на более надёжный сервер — dbt-server. Поскольку этот релиз содержит фундаментальные изменения, IDE v1.2 требует dbt v1.6 или выше. Это значимое обновление следует за переработкой frontend‑части IDE в прошлом году. Мы продолжаем улучшать IDE, чтобы обеспечить вам более качественный опыт работы.
Ранее Cloud IDE использовала dbt-rpc — устаревший сервис, который не успевал за изменениями в dbt-core. Интеграция dbt-rpc опиралась на legacy entry points и систему логирования dbt-core, из‑за чего была медленной, хрупкой и плохо тестируемой. Команда Core была вынуждена учитывать эти ограничения, чтобы не нарушить работу сервиса, что мешало разработке с высокой скоростью и уверенностью.
Новые возможности
- Лучшая совместимость с dbt-core: Cloud IDE теперь лучше поддерживает команды dbt-core, включая
dbt list, а также улучшенную работу с флагами--vars,--fail-fastи другими. - Повышенная поддерживаемость: С новым dbt-server стало проще исправлять ошибки и повышать общее качество продукта. В dbt-rpc исправление багов было трудоёмким и требовало обширного тестирования. Новый сервис позволяет находить и устранять проблемы быстрее, делая IDE более стабильной и надёжной.
- Более надёжный сервис: Упрощённая архитектура, менее подверженная сбоям.
Улучшения продукта
- Улучшенные возможности
Previewпри использовании Core v1.6 + IDE v1.2. Подробности — в этом Loom-видео.
Исправления ошибок
- Глобальная страница могла становиться «инертной» и переставать обрабатывать клики
- Переключение между файлами в режиме git diff могло приводить к перезаписи
- Браузер зависал при предпросмотре markdown-документов с большими таблицами
- Контекстное меню редактора (right click) отображалось со смещением
- Невозможно отменить действие в компоненте Save New File при закрытии всех файлов в IDE
- Мерцание мыши в дереве файлов модального окна затрудняло выбор папки для сохранения нового файла
- Snapshots не отображались в Lineage при нахождении в подпапке и смешанном регистре имени
- Подсказки (tooltips) не работали для Format и Save
- При выполнении dbt или парсинге попытка переключить ветку приводила к автоматическому закрытию выпадающего списка
Git Branch
Известные проблемы
- Функция
{{this}}некорректно отображается в preview/compile при использовании dbt-server
- Лучшая совместимость с dbt-core: Cloud IDE теперь лучше поддерживает команды dbt-core, включая
Июль 2023
-
Более быстрые запуски и неограниченная параллельность заданий для аккаунтов Enterprise
Мы внедрили значительные улучшения в планировщик dbt Cloud, повысив производительность, надёжность и масштабируемость.
Узнайте подробнее о том, как получить более быстрый старт запусков и как пользователи Enterprise теперь могут выполнять неограниченное количество заданий параллельно.
Более быстрый старт запусков
Планировщик отвечает за подготовку каждого задания dbt Cloud к запуску в вашей облачной платформе данных. Эта подготовка включает создание Kubernetes-пода с нужной версией dbt, настройку переменных окружения, загрузку учётных данных платформы данных, авторизацию git-провайдера и другие задачи по настройке окружения. Только после этого начинается выполнение dbt. В dbt Cloud это время отображается пользователю как «prep time».
Несмотря на все преимущества Kubernetes, у него есть и сложности — в частности, управление подами может влиять на время запуска заданий. Мы переработали планировщик, обеспечив более быстрый запуск за счёт пула уже готовых подов для выполнения заданий клиентов. Это означает, что вы больше не столкнётесь с длительным временем подготовки в начале часа, и мы стремимся к тому, чтобы запуски начинались практически мгновенно. Не верьте нам на слово — посмотрите на данные сами.
Время подготовки заданий сократилось на 75% с января 2023 по июль 2023. В январе prep time составляло 106 секунд, а к июлю — 27 секунд.Ранее задания, запланированные на начало часа, требовали более 106 секунд на подготовку из-за большого количества запусков, обрабатываемых планировщиком. Теперь даже при увеличившемся числе запусков мы сократили максимальное время подготовки до 27 секунд — это ускорение на 75% в периоды пиковой нагрузки!
Неограниченная параллельность заданий для аккаунтов Enterprise
Обновлённый планировщик обеспечивает большую надёжность и позволяет пользователям без усилий запускать задания.
Это означает, что Enterprise-аккаунты в мультиарендной среде теперь могут пользоваться преимуществами неограниченной параллельности заданий. Ранее такие аккаунты были ограничены фиксированным числом слотов запусков, а теперь они могут работать без подобных ограничений. Поддержка single-tenant будет добавлена в ближайшее время.
Важно учитывать, что каждое выполняющееся задание занимает один слот на всё время своего выполнения, и если все слоты заняты, новые задания будут поставлены в очередь.
Подробнее о возможностях см. на странице тарифов dbt.
Обратите внимание: аккаунты Team, созданные после июля 2023 года, также получают неограниченную параллельность заданий:
- Legacy-аккаунты Team имеют фиксированное количество слотов запусков.
- Планы Team и Developer ограничены одним проектом. Для задач большего масштаба наш план Enterprise предлагает такие возможности, как аудит логов, неограниченная параллельность заданий и проектов и многое другое.
Июнь 2023
-
Линтинг и форматирование
dbt Labs с радостью объявляет, что теперь вы можете выполнять линтинг и форматирование dbt-кода прямо в dbt Cloud IDE. Это улучшенный workflow разработки, который позволяет без лишних усилий уделять приоритет качеству кода.
Линтинг и форматирование доступны для пяти типов файлов: SQL, YAML, Markdown, Python и JSON.
Для SQL-файлов вы можете легко выполнять линтинг и форматирование с помощью SQLFluff и применять единый стиль форматирования с использованием sqlfmt. Кроме того, для других типов файлов — YAML, Markdown, JSON и Python — вы можете использовать соответствующие инструменты на базе Prettier и Black, чтобы обеспечить чистое и стандартизированное форматирование кода.
Подробнее читайте в разделе Проверка и форматирование кода.
-
Обновления CI
CI в dbt Cloud — это ключевая часть workflow аналитической инженерии. Крупные команды полагаются на выстроенные процессы, чтобы поддерживать высокое качество кода, и используют dbt Cloud CI для автоматизации тестирования изменений эффективным образом — сохраняя высокую скорость работы без снижения стандартов. Благодаря статус-чекам, которые напрямую публикуются в PR в dbt, разработчики получают уверенность в том, что их изменения будут корректно работать в продакшене. А когда вы привыкнете видеть зелёную галочку в PR, работать иначе уже не захочется.
В отличие от других CI-провайдеров, dbt CI отслеживает состояние того, что выполняется в вашей производственной среде. Благодаря этому при запуске задания CI в промежуточной схеме создаются и тестируются только изменённые в вашем pull request ресурсы данных и зависящие от них нижестоящие ресурсы. dbt стремится сделать каждую проверку CI максимально эффективной, чтобы не расходовать ресурсы хранилища данных впустую. Как только запуск CI завершается, его статус публикуется непосредственно в PR в GitHub, GitLab или Azure DevOps — в зависимости от того, какого Git-провайдера вы используете. Команды могут настроить ограничения, позволяющие одобрять слияние только тех PR, которые успешно прошли проверки CI. При этом процесс проверки коллегами значительно упрощается, поскольку dbt выполняет первый этап тестирования.
Мы рады представить несколько важных возможностей dbt CI, которые повысят продуктивность и улучшат совместную работу вашей команды в процессе тестирования и интеграции. Начиная с этой недели вы можете:
-
Запускать несколько CI-проверок параллельно. Если несколько участников почти одновременно вносят изменения в один и тот же dbt-проект, последующие CI-проверки больше не ждут завершения предыдущих — они выполняются параллельно.
-
Автоматическая отмена устаревших запусков CI. Если вы отправите несколько коммитов в один и тот же PR, dbt автоматически отменит предыдущие проверки CI, которые уже потеряли актуальность. Ресурсы не будут тратиться на проверку устаревшего кода.
- Запускать CI-проверки без блокировки продакшен-запусков. CI-проверки больше не занимают run-слоты, что позволяет запускать любое количество CI-задач без влияния на продакшен-джобы.
Подробнее см. разделы Непрерывная интеграция и CI-задания.
-
-
Admin API
dbt Labs обновила документацию по административному API dbt Cloud, и теперь она доступна как для v2, так и для v3.
- Теперь используется Spotlight для улучшения пользовательского интерфейса и удобства работы.
- Теперь задокументированы все эндпоинты v2 и v3. Добавлена автоматизация, чтобы документация оставалась актуальной.
- Описаны тела многих запросов и ответов.
- Теперь вы можете тестировать эндпоинты прямо в документации API. Кроме того, вы можете выбрать, какой региональный сервер использовать (Северная Америка, APAC или EMEA).
- Благодаря новому интерфейсу стало проще генерировать код для любого эндпоинта.
-
Обновления продуктовой документации
Привет от команды dbt Docs: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! В первую очередь мы хотим поблагодарить 17 новых контрибьюторов сообщества docs.getdbt.com — ✨ @aaronbini, @sjaureguimodo, @aranke, @eiof, @tlochner95, @mani-dbt, @iamtodor, @monilondo, @vrfn, @raginjason, @AndrewRTsao, @MitchellBarker, @ajaythomas, @smitsrr, @leoguyaux, @GideonShils, @michaelmherrera!
Вот что нового появилось на docs.getdbt.com в июне:
☁ Cloud-проекты
-
Мы уточнили нюансы CI и заданий CI, обновили материалы о планировщике, добавили две новые страницы о настройках заданий и видимости запусков, перенесли страницу о состоянии проекта на страницу синтаксиса и подготовили обзорную страницу развёртывания с помощью dbt Cloud, чтобы читателям было проще ориентироваться в материалах.
- Мы изменили структуру страницы поддерживаемых платформ данных: добавили на неё dbt Cloud, разделили её на несколько страниц, использовали карточки для отображения проверенных адаптеров и перенесли страницы настройки хранилищ данных в раздел документации.
- Мы опубликовали новую страницу о линтинге и форматировании, посвящённую замечательной новой функции проверки и форматирования кода в dbt Cloud IDE.
- Мы настроили связь между примечаниями к выпускам dbt Cloud и сообществом dbt в Slack. Теперь новые примечания к выпускам dbt Cloud автоматически отправляются через RSS-ленту в канал #dbt-cloud сообщества в Slack, чтобы пользователи оставались в курсе изменений, которые могут их затронуть.
- Мы добавили две новые ссылки на документацию в пользовательский интерфейс (UI) настроек заданий dbt Cloud. Они предоставят дополнительные рекомендации и помогут пользователям успешно настроить задание dbt Cloud: команды заданий и триггеры заданий.
- Мы добавили информацию о недавно появившейся лицензии IT, доступной в тарифных планах Team и Enterprise.
- Мы добавили новую страницу поддерживаемых браузеров, на которой перечислены рекомендуемые браузеры для dbt Cloud.
- Мы опубликовали новую страницу, рассказывающую пользователям о новой опции экспериментальных функций в dbt Cloud.
- Совместно с командой разработки dbt мы помогли опубликовать новые бета-версии документации dbt Cloud Administrative API.
🎯 Core-проекты
- Мы запустили новую документацию по MetricFlow в бета-версии dbt Core v1.6.
- Мы разделили страницу Global configs на отдельные страницы, чтобы упростить навигацию и поиск.
Новые 📚 руководства, ✏️ блог-посты и FAQ
- Добавили пример для Azure DevOps в руководство Customizing CI/CD with custom pipelines.
-
Май 2023
-
dbt Cloud IDE
Чтобы сделать разработку в Cloud IDE ещё удобнее, команда dbt Labs продолжает добавлять новые функции, исправлять ошибки и повышать надёжность ✨.
Следите за обновлениями, связанными с IDE, в разделе IDE-related changes.
Новые возможности
-
Проверка кода с помощью SQL Fluff теперь доступна в бета-версии (общая доступность ожидается в течение следующих 2–3 недель)
- Форматируйте файлы markdown с помощью prettier
- Используйте сочетания клавиш для удобства разработки, включая
Ctrl + `(показать или скрыть панель истории),CMD + Option + /(добавить или убрать блочный комментарий),CMD + Shift + P(открыть палитру команд),Option + W(закрыть вкладку редактора) - Отображайте имя родительской папки для файлов с одинаковыми именами в разделе Changes
- Быстро осваивайте новые возможности IDE с помощью справочной страницы об интерфейсе IDE
- Используйте
top Xв SQL при предварительном просмотре в IDE - В течение последнего месяца можно было по желанию подключиться к новому серверному слою IDE (пока ещё с dbt-rpc). Бета-версия будет готова позднее в июне!
Улучшения продукта
-
Улучшения производительности:
- Время холодного запуска сокращено более чем на 60%
- Время отрисовки модальных окон в IDE сокращено на 98%
- Повышена производительность IDE при работе с dbt Core v1.5+ (интерфейс стал быстрее и отзывчивее — настоятельно рекомендуем обновить версию dbt!)
- sqlfmt (инструмент, используемый кнопкой Format) обновлён до версии 0.18.0
- Кнопка Build обновлена: теперь пункты меню меняются в зависимости от типа файла или модели (snapshot, macro и т. д.)
- Добавлено сообщение с предложением отключить блокировщик рекламы при ошибке загрузки содержимого файла
- Кнопка Format перемещена на панель консоли
- В IDE внесено множество улучшений безопасности
Исправления ошибок
- Размеры иконок файлов больше не «ломаются» на маленьких экранах
- Toast-уведомления больше не перекрывают меню командной строки
- Всплывающая информация при наведении в редакторе больше не обрезается
- Переход между файлом и недавно изменённым scratchpad больше не вызывает ошибок в консоли
- IDE теперь доступна для dbt v1.5+
- Кнопка Confirm в модальном окне Unsaved Changes теперь корректно закрывает окно
- Длинные имена нод больше не выходят за границы в разделе parsed logs панели истории
- Status pill в панели истории больше не масштабируется при длинных командах
- Tooltip вкладки с длинным именем файла больше не обрезается
- Кнопка Lint больше не доступна в main-ветке
-
-
Улучшения истории запусков
В dbt Cloud стали доступны новые улучшения удобства использования и дизайна дашборда Run History. Эти изменения помогают быстрее находить нужную информацию за счёт сокращения количества кликов, вывода более релевантных данных, сохранения состояния потока (flow state) и более интуитивного интерфейса.
Основные моменты:
- Улучшения удобства для CI-запусков: ссылки на ветку, PR и commit SHA, а также более наглядные имена временных схем
- Предпросмотр сообщений об ошибках при наведении
- Ссылки на окружение
- Более понятные иконки статусов запусков
- Более явное указание причины запуска (API, по расписанию, pull request, запуск пользователем)
- Дополнительная информация о времени запуска при наведении
- Отображение таймаута запуска
dbt Labs также меняет политику хранения и получения метаданных для истории запусков в dbt Cloud.
Начиная с 1 июня 2023 года разработчики, использующие мультитенантное приложение dbt, смогут самостоятельно получать доступ к истории запусков своей учетной записи через пользовательский интерфейс (UI) и API dbt только за последние 365 дней. Более раннюю историю запусков можно будет скачать, обратившись в службу поддержки клиентов. Мы стремимся минимизировать объем хранимых метаданных и при этом максимально повысить производительность приложения.
В частности, все
GET-запросы к эндпоинту dbt Cloud Runs будут возвращать информацию о запусках, артефактах, логах и шагах выполнения только за последние 365 дней. Аналогично, в интерфейсе dbt Cloud будет отображаться история запусков лишь за этот период.Более старая история запусков будет храниться в холодном хранилище и может быть предоставлена клиентам по запросу. Чтобы получить данные о старых запусках, свяжитесь со службой поддержки по адресу support@getdbt.com или воспользуйтесь чатом в приложении dbt Cloud, нажав на иконку
?в интерфейсе. -
Улучшения деталей запусков и логов
В dbt Cloud также стали доступны новые улучшения удобства использования и дизайна страницы деталей запуска и логов. Возможность быстро разбирать ошибки в логах — одно из ключевых преимуществ использования джобов и планировщика dbt Cloud. Эти обновления значительно упрощают поиск первопричин ошибок.
Основные изменения:
- Отображение состояния предупреждения (warn) на уровне шага запуска
- Поиск по логам
- Более удобное обнаружение ошибок и предупреждений в логах
- Ленивую загрузку логов, благодаря чему страница деталей запуска загружается быстрее и ощущается более производительной
- Более чистый и аккуратный интерфейс с улучшенной иконографией
- Полезные подсказки (tooltips)
-
Обновления продуктовой документации
Привет от команды dbt Docs: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! В первую очередь хотим поблагодарить 13 новых контрибьюторов сообщества docs.getdbt.com!
Вот что нового появилось на docs.getdbt.com в мае:
🔎 Обнаруживаемость
-
Мы добавили информационные блоки на несколько ключевых страниц, чтобы все знали: пользователям dbt Cloud не нужен файл profiles.yml.
- Дополнили страницу переменной Jinja model, на которой изначально не хватало объяснения основных понятий и ссылки на страницу схемы.
- Добавили новую главную страницу руководств по быстрому старту. Этот новый формат закладывает основу для будущих улучшений, в том числе фильтрации! А пока мы рады, что теперь вы можете последовательно проходить руководства по быстрому старту, не отвлекаясь на лишнее.
Cloud-проекты
-
Мы опубликовали документацию по пользовательскому интерфейсу dbt Cloud IDE, в которой подробно рассматриваются элементы интерфейса IDE и их назначение.
- Запустили совершенно новую страницу планировщика dbt Cloud ✨! Раньше материалов о планировщике было мало, а теперь ему посвящён целый подраздел, подробно описывающий его замечательные возможности и принципы работы.
- Обновили страницу пользовательских лицензий dbt Cloud, чтобы уточнить, как добавлять или удалять пользователей облачной платформы.
- К запуску Discovery API мы выпустили следующую документацию:
🎯 Core-проекты
-
Узнайте, что появится в Core v 1.6!
- Мы превратили страницу
profiles.ymlв обзорную, добавили на неё больше контекста и переместили страницу «О CLI» выше в разделеНастройка dbt.
Новые 📚 руководства, ✏️ блог-посты и FAQ
Если вы хотите поучаствовать в создании блог-постов, сейчас мы фокусируемся на следующем контенте:
- Опубликован блог-пост: Ускорьте процесс документирования: генерация документации сразу для целых папок
- Опубликован блог-пост: Data engineers + dbt v1.5: эволюция ремесла для масштабирования
- Добавлен FAQ, отвечающий на популярный вопрос: почему dbt при компиляции требуется подключение к базе данных?
- Опубликована статья на Discourse о настройке уведомлений о джобах для пользователей вне dbt Cloud
- Мы превратили страницу
-
Апрель 2023
-
dbt Cloud IDE
Новые функции
- Новое предупреждающее сообщение предлагает вам вызвать
dbt deps, когда это необходимо (как сообщаетсяdbt-score). - Новое предупреждающее сообщение появляется, когда вы выбираете модели, но не сохраняете их перед нажатием Сборка или вызовом dbt (например, dbt build/run/test).
- Предварительные просмотры файлов Markdown и CSV теперь доступны в консоли IDE.
- Меню дерева файлов теперь включает опцию Дублировать файл.
- Отображение времени загрузки при предварительном просмотре модели.
Усовершенствования продукта
- Улучшение опыта автозаполнения, который работал медленно для людей с большими проектами и которые реализуют ограничение на максимальный
manifest.jsonдля этой функции. - Введение постраничной навигации для представления сводки узлов вызова (отображение 100 узлов за раз).
- Улучшение рендеринга для раздела Изменения / Контроль версий IDE.
- Обновление значков для согласованности в dbt Cloud.
- Добавление поддержки таблиц для предварительного просмотра Markdown.
- Возвращение вкладки родословной для ресурсов seed в IDE.
- Реализация приоритета модальных окон, когда есть несколько предупреждающих модальных окон.
- Улучшение описания сложной команды в палитре команд.
Исправления ошибок
- Дерево файлов больше не сворачивается при первом нажатии, когда определена подкатегория проекта.
- Кнопка Отменить все теперь работает, как ожидалось.
- Предварительный просмотр CSV больше не завершается с ошибкой при наличии только одного столбца.
- Положение курсора и полосы прокрутки теперь сохраняются.
- Представление
git diffтеперь показывает только изменения и больше не показывает полный дифф, пока страница не обновится. - Команда ToggleMinimap больше не запускает другую команду одновременно.
- Представление
git diffбольше не показывает бесконечные вращения в определенных сценариях (новый файл и т. д.). - Содержимое файла больше не смешивается при использовании представления diff, если один файл имеет несохраненные изменения.
- YML родословная теперь отображает модель без тестов (в dbt Core v1.5 и выше).
- Радиокнопки для Сводки и Детали в разделе журналов теперь последовательно обновляются, чтобы показать точный выбор вкладки.
- IDE больше не выдает ошибку консоли
Error: Illegal argumentи не перенаправляет на страницуЧто-то пошло не так.
- Новое предупреждающее сообщение предлагает вам вызвать
-
Обновления API
Начиная с 15 мая 2023 года, мы будем поддерживать только следующую функциональность
order_byдля эндпоинта List Runs:idи-idcreated_atи-created_atfinished_atи-finished_at
Мы рекомендуем вам изменить ваши API-запросы на https://<YOUR_ACCESS_URL>/api/v2/accounts/{accountId}/runs/, чтобы использовать поддерживаемый
order_byдо этой даты.URL-адреса доступаdbt Cloud размещается в нескольких регионах по всему миру, и для каждого региона используется свой URL для доступа. Пользователи тарифных планов Enterprise могут выбрать любой из этих регионов для размещения своей учетной записи. Полный список доступных URL для доступа к dbt Cloud приведен в разделе Регионы и IP-адреса.
Для получения дополнительной информации обратитесь к нашей документации.
-
Оптимизация планировщика
Планировщик dbt Cloud теперь предотвращает засорение очереди, отменяя ненужные запуски чрезмерно запланированных заданий.
Длительность выполнения задания, как правило, увеличивается со временем, обычно из-за увеличения объема данных в хранилище. Если длительность выполнения становится больше, чем частота расписания задания, очередь будет расти быстрее, чем планировщик сможет обрабатывать запуски задания, что приведет к runaway-очереди с запусками, которые не нужно обрабатывать.
Ранее, когда задание находилось в этом состоянии чрезмерного планирования, планировщик останавливал постановку в очередь запусков после того, как 50 уже находились в очереди. Это приводило к плохому пользовательскому опыту, когда планировщик отменял запуски без разбора. Вам нужно было войти в dbt Cloud, чтобы вручную отменить все запланированные запуски и изменить расписание задания, чтобы "разблокировать" очередь планировщика.
Теперь планировщик dbt Cloud обнаруживает, когда запланированное задание настроено на слишком частый запуск, и соответственно отменяет запуски, которые не нужно обрабатывать. В частности, запланированные задания могут иметь только один запуск задания в очереди, и если более новый запуск попадает в очередь, более ранний запланированный запуск будет отменен с полезным сообщением об ошибке. Пользователи все равно должны либо переработать задание, чтобы оно выполнялось быстрее, либо изменить расписание задания, чтобы оно выполнялось реже, если задание часто попадает в состояние чрезмерного планирования.
-
Starburst адаптер GA
Подключение Starburst (совместимое с Trino) теперь общедоступно (Generally Available) в dbt Cloud. Это означает, что теперь вы можете использовать dbt Cloud для подключения к Starburst Galaxy, Starburst Enterprise и самостоятельно развернутому Trino. Эта возможность реализована на базе адаптера
dbt-trino. Подробнее см. в нашем руководстве по быстрому старту для dbt Cloud и Starburst Galaxy. -
Обновления документации продукта
Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Мы хотим поделиться некоторыми основными моментами, представленными в docs.getdbt.com за последний месяц:
🔎 Обнаружимость
-
Документация по API теперь доступна в левой боковой панели, чтобы её было проще найти.
- Боковая панель раздела о развёртывании заданий dbt преобразилась 💅: раздел «О развёртывании» теперь разделён на два направления (развёртывание с помощью dbt Cloud и развёртывание с помощью других инструментов), добавлены подробности о планировщике dbt Cloud, его возможностях и создании заданий, а также рекомендации по развёртыванию с помощью ADF. Надеемся, что эти изменения сделают документацию удобнее и помогут пользователям при развёртывании с помощью других инструментов.
☁ Проекты Cloud
-
Добавлена документация по адаптеру Starburst/Trino, в том числе:
-
страница настройки и страница конфигурации.
- Дополнены страница заданий dbt Cloud и соответствующий раздел: добавлены сведения о времени ожидания в очереди, улучшениях в этой области и заданиях, завершившихся с ошибкой.
- Ознакомьтесь с апрельскими примечаниями к выпуску dbt Cloud
🎯 Проекты Core
-
Более понятные описания на странице функций Jinja, улучшающие содержимое каждой карточки.
- Документация версии 1.5 опубликована для релиз-кандидата (RC)!
- Ознакомьтесь с замечательными результатами работы над Core v1.5.
Новые 📚 Руководства и ✏️ блог-посты
-
Используйте рабочие процессы Databricks для запуска заданий dbt Cloud
- Обновляйте рабочую книгу Tableau с извлечениями после завершения задания
- dbt Python Snowpark workshop/tutorial
- Как оптимизировать и устранять неполадки моделей dbt на Databricks
- Недостающий гид по debug() в dbt
- dbt Squared: Использование dbt Core и dbt Cloud вместе в масштабе
- Audit_helper в dbt: Поднятие аудита данных на новый уровень
-
Март 2023
-
Устаревание dbt v1.0
dbt Cloud теперь требует версию dbt 1.0 или выше. С 1 марта 2023 года мы удалили все экземпляры более старых версий dbt из dbt Cloud.
Все окружения или задания, настроенные с версией dbt ниже 1.0, были автоматически обновлены до dbt v1.4, которая является последней минорной версией, доступной в dbt Cloud.
Подробнее о версиях и выпусках dbt, а также о сроках поддержки в dbt Cloud см. в разделе О версиях dbt Core.
Ознакомьтесь с дополнительной информацией и ресурсами, которые помогут вам обновить вашу версию dbt:
-
dbt Cloud IDE
Чтобы и дальше улучшать процесс разработки в Cloud IDE, команда dbt Labs продолжает добавлять новые функции, исправлять ошибки и повышать надежность ✨.
Подробнее читайте о предстоящих улучшениях Cloud IDE и следите за всеми изменениями, связанными с IDE.
Новые функции
-
Создавайте коммиты и отменяйте изменения для отдельных файлов в разделе Version Control.
- Используйте палитру команд для вызова распространённых сложных команд dbt, например для возобновления выполнения с места последнего сбоя.
- Создавайте PR даже при наличии незакоммиченных изменений (в раскрывающемся меню git).
- При редактировании YML-файла IDE будет показывать больше подсказок автодополнения благодаря dbt-jsonschema.
- В контекстном меню дерева файлов теперь доступны дополнительные действия, например копирование модели в виде ref или копирование пути к файлу.
- Для представления DAG установлено значение по умолчанию
2+model+2. - На вложенной вкладке DAG/lineage реализован селектор зависимостей.
- Редактируйте файлы непосредственно в представлении git diff на правой панели.
- Теперь при нажатии Command-W/Control-W будет появляться предупреждение, если есть несохранённые изменения.
- Теперь доступно новое пошаговое руководство по началу работы.
Усовершенствования продукта
- Выборщик DAG теперь использует
nameвместоfile_uriдля построения селекторов. - DAG теперь вертикально центрирован под новым элементом выбора.
- sqlfmt был обновлен до v0.17.0.
- Когда кнопка Форматирования не срабатывает, уведомление будет отображать синтаксическую ошибку.
- Редактор теперь имеет возможность переключать мини-карту/перенос слов с помощью правой кнопки мыши.
- В истории теперь отображается прошедшее время в реальном времени и в единицах s/m/h.
- При удалении сред разработки модальное окно теперь предупреждает пользователей о том, что любые несохраненные изменения будут потеряны.
- Контекст для кнопки Git был скорректирован, чтобы показать, что она будет ссылаться на внешний сайт (например, GitHub или GitLab), когда пользователи создают запрос на вытягивание.
Исправления ошибок
- IDE теперь отображает сообщение об ошибке, когда репозиторий git недоступен. Ранее он завершался без ошибок.
- Меню с тремя точками теперь видно, когда открыта панель истории вызовов. Ранее оно не отображалось.
- DAG теперь обновляется/заполняется последовательно. Ранее это иногда не срабатывало.
- Фиолетовое выделение для выбора DAG теперь согласовано по всем файлам. Ранее оно было несогласованным.
- Пользователи теперь могут переименовывать файлы обратно в их оригинальное имя. Ранее это было невозможно.
- Ссылка на IDE со страницы настройки проекта была исправлена.
- IDE больше не имеет проблем с именами файлов с одним пробелом.
- Добавление недопустимых символов в конфигурацию подкаталога больше не вызывает сбой IDE.
- Автозаполнение YML теперь срабатывает последовательно. Ранее это иногда не срабатывало.
- Отмена отдельных файлов теперь перезагружает содержимое файла во вкладке. Ранее это не перезагружалось.
- Дерево файлов больше не сворачивается при первом нажатии, когда определена подкатегория проекта.
-
-
Обновления API
Чтобы сделать API более масштабируемым и надежным, мы внедрили максимальный лимит в
100для всех запросов API к нашимlistэндпоинтам. Если запросы API превышают максимальный лимит параметра100, пользователь получит сообщение об ошибке API.Это максимальное ограничение применяется только к многопользовательским экземплярам и не применяется к однопользовательским экземплярам.
Подробнее об этом изменении см. раздел Pagination в обзоре.
Февраль 2023
-
Отключение частичного разбора в командах заданий
Теперь вы можете использовать флаг
--no-partial-parse, чтобы отключить частичное разбор в ваших командах заданий dbt Cloud.Ранее глобальная конфигурация
--no-partial-parseбыла доступна только в dbt Core. Для получения дополнительной информации обратитесь к частичному разбору. -
dbt Cloud IDE
Чтобы сделать работу в Cloud IDE ещё удобнее, команда dbt Labs работала над исправлением ошибок, повышением надёжности и добавлением новых возможностей ✨.
Узнайте больше о февральских изменениях.
Новые функции
-
Поддержка пользовательских цветов узлов при визуализации DAG в IDE
- Автодополнение ref включает модели из seeds и snapshots
- Предотвращено обрезание меню (выпадающего меню элементов управления git, выпадающего меню дерева файлов, меню кнопки сборки и меню параметров вкладок редактора)
- Добавлена возможность открыть меню файла, щёлкнув правой кнопкой мыши по файлу или папке в дереве файлов
- Переименование файлов двойным щелчком по файлам в дереве файлов и по вкладкам редактора
- В контекстное меню вкладок файлов добавлены новые пункты; теперь оно открывается у курсора, а не посередине вкладки
- Название ветки git над разделом Version Control служит ссылкой на репозиторий для определённых провайдеров git
- Сейчас доступно для всех мультитенантных экземпляров, использующих провайдеров GitHub или GitLab
Усовершенствования продукта
- Добавлено модальное окно ошибки для ошибок разбора RPC, когда пользователи пытаются вызвать команды dbt (предварительный просмотр, компиляция или общие вызовы dbt).
- Включено синтаксическое выделение для выражений Jinja и разделителей операторов.
- Уточнены и переименованы параметры под кнопкой Сборка.
- Изменен термин для статуса RPC с
КомпиляциянаРазбор, чтобы соответствовать конструкции dbt-core. - Реализован новый компонент Дерево файлов для улучшения времени рендеринга на 60%.
- Отключено локальное хранилище дерева файлов, чтобы предотвратить возникновение проблемы с максимальным локальным хранилищем для больших проектов.
- Изменен шаблон фрагмента снимка (
__snapshot) на выбор из источника.
Исправления ошибок
- Вы больше не сталкиваетесь с содержимым файла, которое переносится, когда вы переключаетесь на другой проект, который имеет то же имя файла.
- Максимальный лимит предварительного просмотра больше не позволяет вам переопределять максимум.
- Вы больше не сталкиваетесь с состоянием узлов, которые не обновляются в панели истории для тех, кто использует версию 1.4 core. (Это частичное исправление, которое может быть полностью устранено в версии core 1.5).
- Теперь вы можете использовать опцию Копировать имя файла, чтобы скопировать до последней точки, а не до первой точки.
- Теперь вы можете использовать флаг
--no-partial-parse, чтобы отключить частичное разбор в ваших командах заданий dbt Cloud. - Ранее глобальная конфигурация
--no-partial-parseбыла доступна только в dbt Core. Для получения дополнительной информации обратитесь к частичному разбору.
-
Январь 2023
-
dbt Cloud IDE
Продолжая совершенствовать работу в Cloud IDE, команда dbt Labs работала над исправлением ошибок, повышением надежности и добавлением новых возможностей ✨.
Узнайте больше о январских изменениях и о том, что будет скоро.
Новые функции
- Улучшенное синтаксическое выделение в IDE для лучшего сочетания Jinja-SQL (двойные кавычки теперь показывают правильное синтаксическое выделение!)
- Отрегулирован URL-адрес маршрутизации для страницы IDE и удален
nextиз URL-адреса. - Добавлен новый пасхальный яйцо в IDE 🐶🦆.
Усовершенствования продукта
- Улучшения производительности и снижение «тормозов» IDE. Интерфейс должен ощущаться более быстрым и отзывчивым.
- Улучшения надёжности — улучшена обработка ошибок, которые ранее могли приводить IDE в некорректное состояние
- Исправлен список опций в выпадающем меню кнопки Build
- Скорректировано время отображения стартовой страницы
- Добавлены примеры кода для тестов
uniqueиnot_nullв YAML‑файлах - Добавлены примеры кода для метрик на основе версий dbt, заданных в окружении
- Формулировка “commit and push” заменена на “commit and sync”, чтобы точнее отражать выполняемое действие
- Улучшено сообщение об ошибке при сохранении или переименовании файлов с дублирующимися именами
Исправления ошибок
- Вы больше не сталкиваетесь с сообщением
RPC server got an unknown async IDслучайным образом. - Теперь вы можете видеть выпадающее меню кнопки сборки, которое было скрыто за экраном пустого DAG.
- Теперь вы можете закрыть уведомления о сбое команды, когда открыта панель истории.
- Вы больше не сталкиваетесь с сообщением
Что-то пошло не такпри предварительном просмотре модели. - Теперь вы можете видеть статус репозитория в IDE, и IDE находит папку SSH.
- Полосы прокрутки и загрузка CSV больше не мигают в области предварительного просмотра.








