2023 заметки о релизах dbt Cloud

Архивированные заметки о релизах dbt Cloud за 2023 год

Декабрь 2023

•  Обновления семантического слоя

  Команда dbt Labs продолжает работать над добавлением новых функций, исправлением ошибок и повышением надежности семантического слоя dbt. Следующий список более подробно объясняет обновления и исправления за декабрь 2023 года.

  Исправления ошибок

  • Интеграция с Tableau — Интеграция семантического слоя dbt с Tableau теперь поддерживает запросы, которые разрешаются в условие "NOT IN". Это относится к использованию "exclude" в интерфейсе фильтрации пользователей. Ранее это не поддерживалось.
  • Поддержка BIGINT — Семантический слой dbt теперь может поддерживать значения BIGINT с точностью более 18. Ранее это вызывало ошибку.
  • Утечка памяти — Исправлена утечка памяти в JDBC API, которая ранее приводила к периодическим ошибкам при запросах.
  • Поддержка преобразования данных — Добавлена поддержка преобразования различных типов данных, специфичных для Redshift и Postgres. Ранее драйвер выдавал ошибку при встрече с колонками таких типов.

  Улучшения

  • Устаревание — Мы объявили устаревшими метрики dbt и устаревший семантический слой dbt, которые поддерживались в версии dbt 1.5 или ниже. Это изменение вступило в силу 15 декабря 2023 года.
  • Улучшенный инструмент конвертации dbt — Инструмент конвертации dbt теперь может помочь автоматизировать часть работы по конвертации из LookML (язык моделирования Looker) для тех, кто мигрирует. Ранее это не было доступно.
•  Внешние атрибуты

  Функция расширенных атрибутов в dbt Cloud теперь доступна в GA! Она позволяет переопределять любой атрибут YAML на уровне окружения, который принимает адаптер dbt в своем profiles.yml. Вы можете предоставить фрагмент YAML, чтобы добавить или заменить любое значение профиля.

  Чтобы узнать больше, обратитесь к Расширенным атрибутам.

  Текстовое поле Расширенные атрибуты доступно на странице настроек вашего окружения:

  Пример текстового поля Расширенные атрибуты
•  Устаревший семантический слой

  dbt Labs объявил устаревшими метрики dbt и устаревший семантический слой dbt, которые поддерживались в версии dbt 1.5 или ниже. Это изменение вступает в силу 15 декабря 2023 года.

  Это устаревание означает, что метрики dbt и устаревший семантический слой больше не поддерживаются. Мы также удалили эту функцию из пользовательского интерфейса dbt Cloud и сайта документации.

  Почему это изменение?

  Переизданный семантический слой dbt, работающий на MetricFlow, предлагает улучшенную гибкость, производительность и пользовательский опыт, что является значительным шагом вперед для сообщества dbt.

  Ключевые изменения и влияние

  • Дата устаревания — Устаревание устаревшего семантического слоя и метрик dbt официально произойдет 15 декабря 2023 года.
  • Замена — MetricFlow заменяет метрики dbt для определения семантической логики. Пакет dbt_metrics больше не будет поддерживаться после устаревания.
  • Новая функция — Экспорт заменяет материализацию данных с функциональностью metrics.calculate и будет доступен в dbt Cloud в декабре или январе.

  Ломающее изменения и рекомендации

  • Для пользователей на версии dbt 1.5 и ниже с метриками dbt и прокси Snowflake:

  • Влияние: После устаревания запросы, использующие прокси, не будут выполняться.

  • Необходимое действие: Необходима немедленная миграция. Обратитесь к руководству по миграции семантического слоя dbt

  • Для пользователей на версии dbt 1.5 и ниже, использующих метрики dbt без прокси Snowflake:

  • Влияние: Никаких немедленных нарушений, но пакет не будет получать обновления или поддержку после устаревания.

  • Рекомендация: Запланируйте миграцию на переизданный семантический слой для совместимости с версиями dbt 1.6 и выше.

  Взаимодействие и поддержка

  • Обратная связь и поддержка сообщества — Взаимодействуйте и делитесь отзывами с командой dbt Labs и сообществом dbt в Slack, используя каналы, такие как #dbt-cloud-semantic-layer и #dbt-metricflow. Или свяжитесь с вашим представителем по аккаунту dbt Cloud.
  • Ресурсы для обновления — Ознакомьтесь с дополнительной информацией и ресурсами, которые помогут вам обновить вашу версию dbt:
  • Обновление версии в dbt Cloud
  • Руководства по миграции версий

Ноябрь 2023

•  Новые функции и изменения интерфейса в dbt Explorer

  В dbt Cloud появились новые улучшения качества жизни для уведомлений по электронной почте и Slack о ваших заданиях:

  • Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
    • Адреса, которые находятся за пределами вашей учетной записи dbt Cloud
    • Адреса сторонних интеграций для настройки уведомлений для таких сервисов, как Microsoft Teams или PagerDuty
  • Вы можете настраивать уведомления для нескольких каналов Slack. Ранее можно было настраивать только один канал Slack.
  • Теперь любой администратор аккаунта может редактировать уведомления Slack, а не только тот, кто их создал.

  Чтобы узнать больше, ознакомьтесь с Уведомлениями о заданиях.

•  Уведомления о заданиях

  В dbt Cloud появились новые улучшения качества жизни для уведомлений по электронной почте и Slack о ваших заданиях:

  • Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
    • Адреса, которые находятся за пределами вашей учетной записи dbt Cloud
    • Адреса сторонних интеграций для настройки уведомлений для таких сервисов, как Microsoft Teams или PagerDuty
  • Вы можете настраивать уведомления для нескольких каналов Slack. Ранее можно было настраивать только один канал Slack.
  • Теперь любой администратор аккаунта может редактировать уведомления Slack, а не только тот, кто их создал.

  Чтобы узнать больше, ознакомьтесь с Уведомлениями о заданиях.

•  Кэширование репозитория

  Теперь для планов dbt Cloud Enterprise доступна новая опция для включения кэширования Git-репозитория для ваших запусков заданий. При включении dbt Cloud кэширует Git-репозиторий вашего проекта dbt и использует кэшированную копию, если происходит сбой с поставщиком Git. Эта функция улучшает надежность и стабильность ваших запусков заданий.

  Чтобы узнать больше, обратитесь к Кэшированию репозитория.

  Пример опции кэширования репозитория

Октябрь 2023

•  API dbt Cloud

  Начиная с 1 декабря 2023 года, Административный API v2 и v3 будут ожидать, что вы ограничите все методы API "list" или GET до 100 результатов на запрос API. Это ограничение повышает эффективность и стабильность наших услуг. Если вам нужно обработать более 100 результатов, используйте параметры запроса limit и offset для постраничной навигации; в противном случае вы получите ошибку.

  Это максимальное ограничение применяется только к многоарендным экземплярам и не применяется к одноарендным экземплярам.

  Обратитесь к разделам API v3 Pagination или API v2 Pagination для получения дополнительной информации о том, как постранично навигировать ваши ответы API.

•  CLI dbt Cloud

  Мы рады сообщить, что dbt Cloud CLI, унифицированная командная строка для dbt, доступна в публичном предварительном просмотре. Это локальный опыт разработки, поддерживаемый dbt Cloud. Начать легко: pip3 install dbt или brew install dbt, и вы готовы к работе.

  Мы продолжим инвестировать в IDE dbt Cloud как в самый простой и доступный способ начать использовать dbt, особенно для аналитиков данных, которые никогда не разрабатывали программное обеспечение с использованием командной строки. Мы будем продолжать улучшать скорость, стабильность и богатство функций IDE, как мы это делали весь год.

  Мы также знаем, что многие люди, разрабатывающие в dbt, предпочитают локальную разработку, где они могут использовать свой любимый терминал, текстовый редактор, сочетания клавиш, цветовую схему и так далее. Это включает людей с опытом в области инженерии данных, а также тех аналитических инженеров, которые начали писать код в IDE dbt Cloud и расширили свои навыки.

  Новый dbt Cloud CLI предлагает лучшее из обоих миров, включая:

  • Возможность разработки на платформе dbt Cloud
  • Гибкость вашей локальной настройки

  Запускайте любые плагины, разработанные сообществом, хуки предварительного коммита или другие произвольные скрипты, которые вам нравятся.

  Некоторые уникальные возможности этого dbt Cloud CLI включают:

  • Автоматическая отложенная передача артефактов сборки в производственную среду вашего Cloud проекта
  • Безопасное хранение учетных данных на платформе dbt Cloud
  • Поддержка dbt Mesh (кросс-проектный ref)
  • Рабочий процесс разработки для семантического слоя dbt
  • Более быстрые и менее затратные сборки

  Обратитесь к dbt Cloud CLI, чтобы узнать больше.

•  Исправление пользовательской ветки

  Если вы не установили пользовательскую ветку для вашего окружения dbt Cloud, она теперь по умолчанию устанавливается на ветку по умолчанию вашего Git-репозитория (например, main). Ранее CI задания выполнялись для запросов на вытягивание (PR), которые были открыты против любой ветки или обновлены новыми коммитами, если опция Пользовательская ветка не была установлена.

  Azure DevOps

  Ваши запросы на вытягивание (PR) могут не срабатывать против вашей ветки по умолчанию, если вы используете Azure DevOps, и ветка по умолчанию не является main или master. Чтобы решить эту проблему, установите пользовательскую ветку с веткой, которую вы хотите нацелить.

•  Автоустановка dbt deps

  IDE dbt Cloud и dbt Cloud CLI теперь автоматически устанавливают dbt deps, когда ваше окружение запускается или когда это необходимо. Ранее вам предлагалось запустить dbt deps во время инициализации.

  Этот улучшенный рабочий процесс доступен всем пользователям многоарендного dbt Cloud (поддержка одноарендных пользователей появится на следующей неделе) и применяется к версиям dbt.

  Тем не менее, вам все равно следует запускать команду dbt deps в следующих ситуациях:

  • Когда вы вносите изменения в файл packages.yml или dependencies.yml во время сеанса
  • Когда вы обновляете версию пакета в файле packages.yml или dependencies.yml.
  • Если вы редактируете файл dependencies.yml, и количество пакетов остается прежним, запустите dbt deps. (Обратите внимание, что это известная ошибка, которую dbt Labs исправит в будущем.)
•  Поддержка повторных попыток

  Ранее в dbt Cloud вы могли только перезапустить задание с ошибкой с самого начала, но теперь вы также можете перезапустить его с точки его сбоя.

  Вы можете увидеть, какое задание не удалось завершить успешно, какая команда не удалась на этапе выполнения и выбрать, как его перезапустить. Чтобы узнать больше, обратитесь к Повторным попыткам заданий.

  Пример опций повторного запуска в dbt Cloud
•  Обновления документации продукта

  Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Во-первых, мы хотели бы поблагодарить 15 новых участников сообщества, которые внесли вклад в docs.getdbt.com. Мы объединили 107 PR в сентябре.

  Вот что нового на docs.getdbt.com:

  • Перенос документации с Netlify на Vercel.

  ☁ Проекты Cloud

  • Задания непрерывной интеграции теперь доступны в общем доступе и больше не находятся в бета-версии!
  • Добавлена страница настройки Postgres PrivateLink
  • Опубликованы бета-документы для dbt Explorer.
  • Добавлена новая документация API Semantic Layer GraphQL и обновлены документы интеграции для включения Hex. Ответили на отзывы сообщества dbt и уточнили случаи использования Metricflow для dbt Core и dbt Cloud.
  • Добавлен FAQ, описывающий, как мигрировать от одного поставщика git к другому в dbt Cloud.
  • Уточнен пример и добавлен раздел по устранению неполадок в документацию по подключению Snowflake для решения распространенных ошибок и предоставления решений.

  🎯 Проекты Core

  • Устарели версии dbt Core v1.0 и v1.1 в документации.
  • Добавлены инструкции по настройке для плагина сообщества AWS Glue.
  • Переработан быстрый старт dbt Core, чтобы сделать его более удобным для следования. Этот гид разделен на шаги, которые соответствуют другим руководствам.

  Новые 📚 Руководства, ✏️ блог-посты и FAQ

  Добавлен шаблон стиля, который вы можете скопировать и вставить, чтобы убедиться, что вы соблюдаете лучшие практики при стилизации проектов dbt!

  Предстоящие изменения

  Ожидайте множество релизов в октябре и фильтруемый раздел руководств, который упростит поиск руководств!

•  Семантический слой GA

  Если вы используете устаревший семантический слой, мы настоятельно рекомендуем вам обновить вашу версию dbt до версии dbt v1.6 или выше и мигрировать на последний семантический слой.

  dbt Labs с радостью объявляет, что семантический слой dbt теперь доступен в общем доступе. Он предлагает последовательную организацию данных, улучшенное управление, сниженные затраты, повышенную эффективность и доступные данные для лучшего принятия решений и сотрудничества в организациях.

  Он направлен на то, чтобы принести лучшее из моделирования и семантики в downstream-приложения, вводя:

  • Совершенно новые интеграции, такие как Tableau, Google Sheets, Hex, Mode и Lightdash.
  • Новые API семантического слоя с использованием GraphQL и JDBC для запроса метрик и построения интеграций.
  • Поддержка dbt Cloud многоарендных регионов для Северной Америки, EMEA и APAC. Поддержка одноарендных клиентов скоро появится.
  • Скоро появится — Запланированные экспорты (способ создания таблиц в вашей платформе данных) как часть вашего задания dbt Cloud. Используйте API для вызова экспорта, а затем получайте доступ к ним в вашем предпочтительном BI-инструменте.

  Используйте универсальный семантический слой dbt для определения и запроса метрик в интеграционных инструментах.

  Семантический слой dbt доступен для командных или корпоративных многоарендных планов dbt v1.6 или выше.

  • Клиенты команд и предприятий могут использовать 1,000 запрашиваемых метрик в месяц без дополнительной платы на ограниченной пробной основе, при условии разумных ограничений использования. Обратитесь к Биллинг для получения дополнительной информации.
  • Планы разработчиков dbt Cloud и пользователи dbt Core могут определять метрики, но не смогут запрашивать их с интегрированными инструментами.

Сентябрь 2023

•  Обновления CI

  dbt Cloud теперь имеет два различных типа заданий: задания развертывания для создания производственных данных и задания непрерывной интеграции (CI) для проверки изменений кода. Эти задания выполняют принципиально разные задачи, поэтому dbt Labs улучшил опыт настройки с лучшими настройками по умолчанию для каждого.

  С двумя типами заданий, вместо одного общего типа, мы можем лучше направить вас через процесс настройки. Лучшие практики встроены в настройки по умолчанию, так что вы можете быстро перейти от любопытства к настройке за считанные секунды.

  Пример настройки CI задания

  И теперь у нас есть более эффективные сравнения состояния на проверках CI: никогда не тратьте сборку или тест на код, который не был изменен. Теперь мы более эффективно сравниваем код запроса на вытягивание (PR) с тем, что работает в производственной среде, благодаря введению отложенной передачи в окружение, а не в задание. Чтобы узнать больше, обратитесь к Непрерывной интеграции в dbt Cloud.

  Ниже представлена таблица сравнения, описывающая, как задания развертывания и CI задания ведут себя по-разному:

  	Задания развертывания	CI задания
  Цель	Создает производственные данные.	Создает и тестирует новый код перед слиянием изменений в производственную среду.
  Типы триггеров	Запускается по расписанию или через API.	Запускается по коммиту в PR или через API.
  Назначение	Создает в производственной базе данных и схеме.	Создает в промежуточной базе данных и эфемерной схеме, существующей на время PR.
  Режим выполнения	Выполняется последовательно, чтобы избежать конфликтов в подлежащем DAG.	Выполняется параллельно для повышения скорости команды.
  Экономия на эффективных запусках	Обнаруживает чрезмерно запланированные задания и отменяет ненужные запуски, чтобы избежать засорения очереди.	Отменяет существующие запуски, когда новый коммит отправляется, чтобы избежать избыточной работы.
  Сравнение состояния	Иногда нужно обнаружить состояние.	Почти всегда нужно сравнивать состояние с производственной средой, чтобы строить на измененном коде и его зависимостях.

  Что вам нужно обновить

  • Если вы хотите настроить окружение CI для ваших заданий, dbt Labs рекомендует создать ваше CI задание в выделенном окружении развертывания, которое подключено к промежуточной базе данных. Чтобы узнать больше о лучших практиках этих окружений, обратитесь к руководству Начало работы с тестами непрерывной интеграции.

  • Если вы настроили CI задание до 2 октября 2023 года, задание могло быть неверно классифицировано как задание развертывания с этим обновлением. Ниже описано, как исправить тип задания:

  Если вы использовали Create Job API-эндпоинт, но не установили "triggers":triggers.git_provider_webhook, задание было неверно классифицировано как задание развертывания, и вам нужно будет воссоздать его, как описано в Запуск CI задания с помощью API.

  Если вы использовали интерфейс dbt Cloud, но не включили опцию Запуск на запросах на вытягивание, которая находилась на вкладке Непрерывная интеграция (CI), задание было неверно классифицировано как задание развертывания, и вам нужно будет воссоздать его, как описано в Настройка CI заданий.

  Чтобы проверить тип задания, просмотрите ваши CI задания в Истории запусков dbt Cloud и проверьте наличие тега CI Job под именем задания. Если у него нет этого тега, оно было неверно классифицировано, и вам нужно будет воссоздать задание.

  Пример правильного типа CI задания

  Обновление CI фазы 3 — Обновление: Улучшенное автоматическое удаление временных схем

  Временные схемы теперь автоматически удаляются (удаляются) для всех адаптеров (таких как Databricks), соединений PrivateLink и переменных окружения в строках подключения.

  dbt Labs переработал, как работает удаление схем для запусков непрерывной интеграции (CI). Мы создали новую службу для удаления любой схемы с префиксом dbt_cloud_pr_, которая была сгенерирована запуском PR.

  Однако временные схемы не будут автоматически удалены, если:

  • Ваш проект переопределяет макрос generate_schema_name, но он не содержит необходимый префикс dbt_cloud_pr_. Для получения дополнительной информации обратитесь к Устранению неполадок.
  • Вы используете не родную интеграцию Git. Это связано с тем, что автоматическое удаление зависит от входящих вебхуков от поставщиков Git, которые доступны только через родные интеграции.
•  Обновления документации продукта

  Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Во-первых, мы хотели бы поблагодарить 17 новых участников сообщества, которые внесли вклад в docs.getdbt.com — ✨ @aaronbini, @sjaureguimodo, @aranke, @eiof, @tlochner95, @mani-dbt, @iamtodor, @monilondo, @vrfn, @raginjason, @AndrewRTsao, @MitchellBarker, @ajaythomas, @smitsrr, @leoguyaux, @GideonShils, @michaelmherrera!

  Вот что нового на docs.getdbt.com в июне:

  ☁ Проекты Cloud

  • Мы уточнили нюансы CI и CI заданий, обновили содержимое планировщика, добавили две новые страницы для настроек заданий и видимости запусков, переместили страницу состояния проекта на страницу синтаксиса и предоставили целевую страницу для Развертывания с Cloud, чтобы помочь читателям лучше ориентироваться в содержимом.
  • Мы переработали страницу поддерживаемых платформ данных, добавив dbt Cloud на страницу, разделив ее на несколько страниц, используя карточки для отображения проверенных адаптеров и переместив страницы настройки склада в раздел документации.
  • Мы запустили новую страницу Lint и формат, которая подчеркивает замечательную новую функцию линтинга/форматирования в IDE dbt Cloud.
  • Мы включили связь между заметками о релизах dbt Cloud и сообществом dbt в Slack. Это означает, что новые заметки о релизах dbt Cloud автоматически отправляются в сообщество Slack #dbt-cloud через RSS-канал, информируя пользователей о изменениях, которые могут их затронуть.
  • Мы добавили две новые ссылки на документацию в интерфейсе пользователя (UI) настроек заданий dbt Cloud. Это предоставит дополнительное руководство и поможет пользователям добиться успеха при настройке задания dbt Cloud: команды заданий и триггеры заданий.
  • Мы добавили информацию, связанную с недавно созданной IT лицензией, доступной для командных и корпоративных планов.
  • Мы добавили новую страницу поддерживаемых браузеров, которая перечисляет рекомендуемые браузеры для dbt Cloud.
  • Мы запустили новую страницу, информирующую пользователей о новом варианте экспериментальных функций в dbt Cloud.
  • Мы работали с dbt Engineering, чтобы помочь опубликовать новые бета-версии документации Административного API dbt Cloud.

  🎯 Проекты Core

  • Мы запустили новую документацию MetricFlow для бета-версии dbt Core v1.6.
  • Разделили Глобальные конфигурации на отдельные страницы, чтобы упростить поиск, особенно с использованием поиска.

  Новые 📚 Руководства, ✏️ блог-посты и FAQ

  • Добавлен пример Azure DevOps в руководстве Настройка CI/CD с помощью пользовательских конвейеров.

Май 2023

•  dbt Cloud IDE

  Чтобы продолжать улучшать ваш опыт разработки в Cloud IDE, команда dbt Labs продолжает работать над добавлением новых функций, исправлением ошибок и повышением надежности ✨.

  Оставайтесь в курсе изменений, связанных с IDE.

  Новые функции

  • Линтинг через SQL Fluff теперь доступен в бета-версии (GA в течение следующих 2-3 недель)
  • Форматирование markdown файлов с помощью prettier
  • Используйте сочетания клавиш для улучшения опыта разработчика, включая Ctrl + ` (переключение панели истории), CMD + Option + / (переключение блочного комментария), CMD + Shift + P (открытие палитры команд), Option + W (закрытие вкладки редактора)
  • Отображение имени родительской папки для файлов с одинаковыми именами в разделе Изменения
  • Быстрая навигация по новым функциям IDE с помощью страницы помощи Пользовательский интерфейс IDE
  • Используйте top X в SQL при предварительном просмотре в IDE
  • Участвуйте в новом бэкенд-слое IDE за последний месяц (по-прежнему с dbt-rpc). Готово к бета-версии в июне!

  Усовершенствования продукта

  • Улучшения производительности:
    • Снижено время холодного старта более чем на 60%
    • Время рендеринга модальных окон в IDE улучшено на 98%
    • Улучшена производительность IDE с dbt Core v1.5+ (быстрее и отзывчивее – настоятельно рекомендуем обновить вашу версию dbt!)
  • Обновлен sqlfmt (который управляет кнопкой Формат) до 0.18.0
  • Обновлена кнопка Сборки для изменения параметров меню в зависимости от типа файла/модели (снимок, макрос и т. д.)
  • Отображение сообщения о необходимости отключить блокировщик рекламы для ошибки содержимого файла
  • Перемещение кнопки Формат на панель консоли
  • Проведено множество улучшений безопасности в IDE

  Исправления ошибок

  • Размеры значков файлов больше не искажаются на маленьком экране
  • Уведомления больше не захватывают меню командной строки
  • Информация при наведении в текстовом редакторе больше не обрезается
  • Переход между файлами в представлении git diff больше не вызывает ошибку консоли
  • Браузер больше не зависает во время предварительного просмотра markdown для документа с большой таблицей
  • Меню правой кнопки мыши редактора смещено
  • Невозможно отменить в компоненте Сохранить новый файл при закрытии всех файлов в IDE
  • Мигающий курсор в древовидной структуре модального окна затрудняет выбор папки, в которую вы хотите сохранить новый файл
  • Снимки больше не отображаются в Линейности, когда они находятся внутри подпапки и имеют смешанный регистр
  • Подсказки не работают для Форматирования и Сохранения
  • Когда выполнение dbt продолжается или если идет разбор, попытка переключить ветки приведет к автоматическому закрытию выпадающего меню Git Branch
•  Улучшения истории запусков

  Новые улучшения удобства и дизайна на панели История запусков в dbt Cloud теперь доступны. Эти обновления позволяют людям легче находить необходимую информацию, уменьшая количество кликов, поднимая более актуальную информацию, поддерживая людей в состоянии потока и создавая более интуитивный дизайн.

  Улучшения в истории запусков в dbt Cloud

  Основные моменты включают:

  • Улучшения удобства для запусков CI с гиперссылками на ветку, PR и коммит SHA, а также более доступные временные имена схем
  • Предварительный просмотр сообщений об ошибках запусков при наведении
  • Гиперссылки на окружение
  • Лучшая иконография для статуса запуска
  • Более четкая причина триггера запуска (API, запланировано, запрос на вытягивание, инициировано пользователем)
  • Более подробная информация о времени расписания при наведении
  • Видимость времени ожидания запуска

  dbt Labs вносит изменение в политику извлечения метаданных для истории запусков в dbt Cloud.

  Начиная с 1 июня 2023 года, разработчики на многоарендном приложении dbt Cloud смогут самостоятельно получить доступ к истории запусков своего аккаунта через пользовательский интерфейс (UI) dbt Cloud и API только за последние 365 дней, на основе текущей даты. Более старая история запусков будет доступна для загрузки, обратившись в службу поддержки. Мы стремимся минимизировать объем хранимых метаданных, максимизируя производительность приложения.

  В частности, все запросы GET к эндпоинту запусков dbt Cloud будут возвращать информацию о запусках, артефактах, журналах и шагах запуска только за последние 365 дней. Кроме того, история запусков, отображаемая в пользовательском интерфейсе dbt Cloud, будет показывать только запуски за последние 365 дней.

  Интерфейс dbt Cloud, отображающий историю запусков

  Мы будем хранить более старую историю запусков в холодном хранилище и можем предоставить ее клиентам, которые обратятся в нашу службу поддержки. Чтобы запросить информацию о более старой истории запусков, свяжитесь с командой поддержки по адресу support@getdbt.com или используйте чат приложения dbt Cloud, нажав на значок ? в пользовательском интерфейсе dbt Cloud.

•  Улучшения деталей запуска и журналов

  Новые улучшения удобства и дизайна в деталях запуска и журналах в dbt Cloud теперь доступны. Возможность выявлять ошибки в журналах является большим преимуществом использования функциональности заданий и планировщика dbt Cloud. Обновления помогают значительно упростить процесс поиска коренной причины.

  Основные моменты включают:

  • Выявление состояния предупреждения на шаге запуска
  • Поиск в журналах
  • Более легкая доступность ошибок и предупреждений в журналах
  • Ленивое загружение журналов, что делает всю страницу деталей запуска более быстрой и отзывчивой
  • Более чистый вид и ощущение с иконографией
  • Полезные подсказки

  Улучшения в деталях запуска и журналах в dbt Cloud
•  Обновления документации продукта

  Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Во-первых, мы хотели бы поблагодарить 13 новых участников сообщества, которые внесли вклад в docs.getdbt.com!

  Вот что нового на docs.getdbt.com в мае:

  🔎 Обнаружимость

  • Мы убедились, что все знают, что пользователям Cloud не нужен файл profiles.yml, добавив уведомление на нескольких ключевых страницах.
  • Расширили страницу переменной jinja модели, которая изначально не имела концептуальной информации и не ссылалась на страницу схемы.
  • Добавлена новая страница быстрого старта. Этот новый формат готовит почву для будущих итераций, которые будут включать фильтрацию! Но пока мы рады, что вы можете пройти через быстрые старты более целенаправленно.

  Проекты Cloud

  • Мы запустили документацию по пользовательскому интерфейсу IDE dbt Cloud, которая предоставляет подробное руководство по элементам пользовательского интерфейса IDE и их определениям.
  • Запущена новая страница Планировщик dbt Cloud ✨! Мы перешли от ранее имеющегося небольшого контента о планировщике к подразделу, который разбивает замечательные функции планировщика и объясняет, как он работает.
  • Обновлена страница лицензии пользователей dbt Cloud, чтобы прояснить, как добавлять или удалять пользователей cloud.
  • Опубликованы эти документы API Discovery, чтобы совпадать с запуском API Discovery:
    • О API Discovery
    • Случаи использования и примеры для API Discovery
    • Запрос API Discovery

  🎯 Проекты Core

  • Мы запустили dbt Cloud! Мы добавили документацию для новых команд dbt retry и dbt clone

  Новые 📚 Руководства, ✏️ блог-посты и FAQ

  Если вы хотите внести вклад в блог, мы сосредоточены на контенте

  • Опубликован блог: Ускорьте свой рабочий процесс документации: генерируйте документы для целых папок сразу
  • Опубликован блог: Инженеры данных + dbt v1.5: Эволюция ремесла для масштабирования
  • Добавлен FAQ, чтобы прояснить распространенный вопрос пользователей Почему dbt compile необходимо подключаться к базе данных?
  • Опубликована статья на дискурсе о настройке уведомлений о заданиях для пользователей, не использующих dbt Cloud.

Апрель 2023

•  dbt Cloud IDE

  Новые функции

  • Новое предупреждающее сообщение предлагает вам вызвать dbt deps, когда это необходимо (как сообщается dbt-score).
  • Новое предупреждающее сообщение появляется, когда вы выбираете модели, но не сохраняете их перед нажатием Сборка или вызовом dbt (например, dbt build/run/test).
  • Предварительные просмотры файлов Markdown и CSV теперь доступны в консоли IDE.
  • Меню дерева файлов теперь включает опцию Дублировать файл.
  • Отображение времени загрузки при предварительном просмотре модели.

  Усовершенствования продукта

  • Улучшение опыта автозаполнения, который работал медленно для людей с большими проектами и которые реализуют ограничение на максимальный manifest.json для этой функции.
  • Введение постраничной навигации для представления сводки узлов вызова (отображение 100 узлов за раз).
  • Улучшение рендеринга для раздела Изменения / Контроль версий IDE.
  • Обновление значков для согласованности в dbt Cloud.
  • Добавление поддержки таблиц для предварительного просмотра Markdown.
  • Возвращение вкладки родословной для ресурсов seed в IDE.
  • Реализация приоритета модальных окон, когда есть несколько предупреждающих модальных окон.
  • Улучшение описания сложной команды в палитре команд.

  Исправления ошибок

  • Дерево файлов больше не сворачивается при первом нажатии, когда определена подкатегория проекта.
  • Кнопка Отменить все теперь работает, как ожидалось.
  • Предварительный просмотр CSV больше не завершается с ошибкой при наличии только одного столбца.
  • Положение курсора и полосы прокрутки теперь сохраняются.
  • Представление git diff теперь показывает только изменения и больше не показывает полный дифф, пока страница не обновится.
  • Команда ToggleMinimap больше не запускает другую команду одновременно.
  • Представление git diff больше не показывает бесконечные вращения в определенных сценариях (новый файл и т. д.).
  • Содержимое файла больше не смешивается при использовании представления diff, если один файл имеет несохраненные изменения.
  • YML родословная теперь отображает модель без тестов (в dbt Core v1.5 и выше).
  • Радиокнопки для Сводки и Детали в разделе журналов теперь последовательно обновляются, чтобы показать точный выбор вкладки.
  • IDE больше не выдает ошибку консоли Error: Illegal argument и не перенаправляет на страницу Что-то пошло не так.
•  Обновления API

  Начиная с 15 мая 2023 года, мы будем поддерживать только следующую функциональность order_by для эндпоинта List Runs:

  • id и -id
  • created_at и -created_at
  • finished_at и -finished_at

  Мы рекомендуем вам изменить ваши API-запросы на https://<YOUR_ACCESS_URL>/api/v2/accounts/{accountId}/runs/, чтобы использовать поддерживаемый order_by до этой даты.

  URL-адреса доступа

  dbt Cloud размещается в нескольких регионах по всему миру, и каждый регион имеет другой URL-адрес доступа. Пользователи на корпоративных планах могут выбрать, чтобы их аккаунт размещался в любом из этих регионов. Для полного списка доступных URL-адресов доступа dbt Cloud обратитесь к Регионов и IP-адресов.

  Для получения дополнительной информации обратитесь к нашей документации.

•  Оптимизация планировщика

  Планировщик dbt Cloud теперь предотвращает засорение очереди, отменяя ненужные запуски чрезмерно запланированных заданий.

  Длительность выполнения задания, как правило, увеличивается со временем, обычно из-за увеличения объема данных в хранилище. Если длительность выполнения становится больше, чем частота расписания задания, очередь будет расти быстрее, чем планировщик сможет обрабатывать запуски задания, что приведет к runaway-очереди с запусками, которые не нужно обрабатывать.

  Ранее, когда задание находилось в этом состоянии чрезмерного планирования, планировщик останавливал постановку в очередь запусков после того, как 50 уже находились в очереди. Это приводило к плохому пользовательскому опыту, когда планировщик отменял запуски без разбора. Вам нужно было войти в dbt Cloud, чтобы вручную отменить все запланированные запуски и изменить расписание задания, чтобы "разблокировать" очередь планировщика.

  Теперь планировщик dbt Cloud обнаруживает, когда запланированное задание настроено на слишком частый запуск, и соответственно отменяет запуски, которые не нужно обрабатывать. В частности, запланированные задания могут иметь только один запуск задания в очереди, и если более новый запуск попадает в очередь, более ранний запланированный запуск будет отменен с полезным сообщением об ошибке. Пользователи все равно должны либо переработать задание, чтобы оно выполнялось быстрее, либо изменить расписание задания, чтобы оно выполнялось реже, если задание часто попадает в состояние чрезмерного планирования.

•  Starburst адаптер GA

  Подключение Starburst (совместимое с Trino) теперь доступно в dbt Cloud. Это означает, что вы теперь можете использовать dbt Cloud для подключения к Starburst Galaxy, Starburst Enterprise и самоуправляемому Trino. Эта функция поддерживается адаптером dbt-trino. Чтобы узнать больше, ознакомьтесь с нашим руководством по быстрому старту для dbt Cloud и Starburst Galaxy.

•  Обновления документации продукта

  Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Мы хотим поделиться некоторыми основными моментами, представленными в docs.getdbt.com за последний месяц:

  🔎 Обнаружимость

  • Документация API теперь доступна в боковой панели для улучшения обнаружимости.
  • Боковая панель развертывания dbt jobs получила обновление 💅, которое разделяет "о развертывании" на два пути (развертывание с dbt cloud и развертывание с другими инструментами), добавляет больше информации о планировщике dbt cloud, его функциях и о том, как создать задание, добавляет руководство по развертыванию ADF. Мы надеемся, что изменения улучшат пользовательский опыт и предоставят пользователям руководство при развертывании с другими инструментами.

  ☁ Проекты Cloud

  • Добавлены документы адаптера Starburst/Trino, включая:

  • руководство по быстрому старту dbt Cloud, 

  • страница подключения, 

  • страница настройки, и страница конфигурации.

    • Улучшена страница заданий dbt Cloud и раздел, чтобы включить концептуальную информацию о времени ожидания очереди, улучшениях, внесенных вокруг него, и о неудавшихся заданиях.
    • Ознакомьтесь с апрельскими заметками о релизах dbt Cloud

    🎯 Проекты Core

    • Более четкие описания на странице функций Jinja, которые улучшают содержание для каждой карточки. 
    • Документы 1.5 были выпущены как RC!
    • Посмотрите на прекрасные работы, запечатленные в Core v 1.5.

    Новые 📚 Руководства и ✏️ блог-посты

    • Используйте рабочие процессы Databricks для запуска заданий dbt Cloud
    • Обновите рабочую книгу Tableau с извлечениями после завершения задания
    • dbt Python Snowpark workshop/tutorial
    • Как оптимизировать и устранять неполадки моделей dbt на Databricks
    • Недостающий гид по debug() в dbt
    • dbt Squared: Использование dbt Core и dbt Cloud вместе в масштабе
    • Audit_helper в dbt: Поднятие аудита данных на новый уровень

Март 2023

•  Устаревание dbt v1.0

  dbt Cloud теперь требует версию dbt 1.0 или выше. С 1 марта 2023 года мы удалили все экземпляры более старых версий dbt из dbt Cloud.

  Все окружения или задания, настроенные с версией dbt ниже 1.0, были автоматически обновлены до dbt v1.4, которая является последней минорной версией, доступной в dbt Cloud.

  Для получения дополнительной информации о версиях dbt, релизах и временной шкале поддержки dbt Cloud обратитесь к О версиях dbt Core.

  Ознакомьтесь с дополнительной информацией и ресурсами, которые помогут вам обновить вашу версию dbt:

  • Как обновить dbt без страха
  • Вопросы и ответы по обновлению о разрывающих изменениях
  • Руководства по миграции версий
•  dbt Cloud IDE

  Чтобы продолжать улучшать ваш опыт разработки в Cloud IDE, команда dbt Labs продолжает работать над добавлением новых функций, исправлением ошибок и повышением надежности ✨.

  Узнайте больше о предстоящих улучшениях в Cloud IDE и оставайтесь в курсе изменений, связанных с IDE.

  Новые функции

  • Коммит и отмена отдельных файлов в разделе Контроль версий.
  • Используйте палитру команд для вызова общих сложных команд dbt, таких как продолжение с последнего сбоя.
  • Создавайте PR даже при наличии несохраненных изменений (в разделе git).
  • IDE будет отображать больше предложений автозаполнения при редактировании файла YML, поддерживаемого dbt-jsonschema.
  • Дерево файлов теперь имеет дополнительные параметры в контекстном меню правой кнопки мыши, такие как Копировать модель как ref или Копировать путь к файлу.
  • Вид DAG был скорректирован до значения по умолчанию 2+model+2.
  • Вкладка выбора родословной была реализована в подменю DAG/родословной.
  • Редактируйте непосредственно в представлении git diff, расположенном в правой панели.
  • Теперь появится предупреждающее сообщение, когда пользователи нажимают Command-W/Control-W, когда есть несохраненные изменения.
  • Теперь доступен новый гид по потоку онбординга.

  Усовершенствования продукта

  • Выборщик DAG теперь использует name вместо file_uri для построения селекторов.
  • DAG теперь вертикально центрирован под новым элементом выбора.
  • sqlfmt был обновлен до v0.17.0.
  • Когда кнопка Форматирования не срабатывает, уведомление будет отображать синтаксическую ошибку.
  • Редактор теперь имеет возможность переключать мини-карту/перенос слов с помощью правой кнопки мыши.
  • В истории теперь отображается прошедшее время в реальном времени и в единицах s/m/h.
  • При удалении сред разработки модальное окно теперь предупреждает пользователей о том, что любые несохраненные изменения будут потеряны.
  • Контекст для кнопки Git был скорректирован, чтобы показать, что она будет ссылаться на внешний сайт (например, GitHub или GitLab), когда пользователи создают запрос на вытягивание.

  Исправления ошибок

  • IDE теперь отображает сообщение об ошибке, когда репозиторий git недоступен. Ранее он завершался без ошибок.
  • Меню с тремя точками теперь видно, когда открыта панель истории вызовов. Ранее оно не отображалось.
  • DAG теперь обновляется/заполняется последовательно. Ранее это иногда не срабатывало.
  • Фиолетовое выделение для выбора DAG теперь согласовано по всем файлам. Ранее оно было несогласованным.
  • Пользователи теперь могут переименовывать файлы обратно в их оригинальное имя. Ранее это было невозможно.
  • Ссылка на IDE со страницы настройки проекта была исправлена.
  • IDE больше не имеет проблем с именами файлов с одним пробелом.
  • Добавление недопустимых символов в конфигурацию подкаталога больше не вызывает сбой IDE.
  • Автозаполнение YML теперь срабатывает последовательно. Ранее это иногда не срабатывало.
  • Отмена отдельных файлов теперь перезагружает содержимое файла во вкладке. Ранее это не перезагружалось.
  • Дерево файлов больше не сворачивается при первом нажатии, когда определена подкатегория проекта.
•  Обновления API

  Чтобы сделать API более масштабируемым и надежным, мы внедрили максимальный лимит в 100 для всех запросов API к нашим list эндпоинтам. Если запросы API превышают максимальный лимит параметра 100, пользователь получит сообщение об ошибке API.

  Это максимальное ограничение применяется только к многоарендным экземплярам и не применяется к одноарендным экземплярам.

  Обратитесь к разделу Постраничная навигация в обзоре для получения дополнительной информации об этом изменении.

Февраль 2023

•  Отключение частичного разбора в командах заданий

  Теперь вы можете использовать флаг --no-partial-parse, чтобы отключить частичное разбор в ваших командах заданий dbt Cloud. 

  Ранее глобальная конфигурация --no-partial-parse была доступна только в dbt Core. Для получения дополнительной информации обратитесь к частичному разбору.

•  dbt Cloud IDE

  Чтобы продолжать улучшать наш опыт в Cloud IDE, команда dbt Labs работала над исправлением ошибок, повышением надежности и добавлением новых функций ✨.

  Узнайте больше о февральских изменениях.

  Новые функции

  • Поддержка пользовательских цветов узлов в визуализации DAG IDE.
  • Автозаполнение ref включает модели из seed и снимков.
  • Предотвращение обрезки меню (выпадающее меню git, выпадающее меню дерева файлов, кнопка сборки, параметры вкладки редактора).
  • Дополнительная опция доступа к меню файлов, щелкнув правой кнопкой мыши на файлах и папках в дереве файлов.
  • Переименование файлов двойным щелчком по файлам в дереве файлов и вкладках редактора.
  • Щелчок правой кнопкой мыши на вкладках файлов имеет новые параметры и теперь открывается в месте курсора, а не посередине вкладки.
  • Имя ветки git над Контролем версий ссылается на репозиторий для конкретных поставщиков git.
    • В настоящее время доступно для всех многоарендных экземпляров, использующих поставщики GitHub или GitLab.

  Усовершенствования продукта

  • Добавлено модальное окно ошибки для ошибок разбора RPC, когда пользователи пытаются вызвать команды dbt (предварительный просмотр, компиляция или общие вызовы dbt).
  • Включено синтаксическое выделение для выражений Jinja и разделителей операторов.
  • Уточнены и переименованы параметры под кнопкой Сборка.
  • Изменен термин для статуса RPC с Компиляция на Разбор, чтобы соответствовать конструкции dbt-core.
  • Реализован новый компонент Дерево файлов для улучшения времени рендеринга на 60%.
  • Отключено локальное хранилище дерева файлов, чтобы предотвратить возникновение проблемы с максимальным локальным хранилищем для больших проектов.
  • Изменен шаблон фрагмента снимка (__snapshot) на выбор из источника.

  Исправления ошибок

  • Вы больше не сталкиваетесь с содержимым файла, которое переносится, когда вы переключаетесь на другой проект, который имеет то же имя файла.
  • Максимальный лимит предварительного просмотра больше не позволяет вам переопределять максимум.
  • Вы больше не сталкиваетесь с состоянием узлов, которые не обновляются в панели истории для тех, кто использует версию 1.4 core. (Это частичное исправление, которое может быть полностью устранено в версии core 1.5).
  • Теперь вы можете использовать опцию Копировать имя файла, чтобы скопировать до последней точки, а не до первой точки.
  • Теперь вы можете использовать флаг --no-partial-parse, чтобы отключить частичное разбор в ваших командах заданий dbt Cloud. 
  • Ранее глобальная конфигурация --no-partial-parse была доступна только в dbt Core. Для получения дополнительной информации обратитесь к частичному разбору.

Январь 2023

•  dbt Cloud IDE

  В духе продолжения улучшения нашего опыта в Cloud IDE команда dbt Labs работала над исправлением ошибок, повышением надежности и добавлением новых функций ✨.

  Узнайте больше о январских изменениях и о том, что будет скоро.

  Новые функции

  • Улучшенное синтаксическое выделение в IDE для лучшего сочетания Jinja-SQL (двойные кавычки теперь показывают правильное синтаксическое выделение!)
  • Отрегулирован URL-адрес маршрутизации для страницы IDE и удален next из URL-адреса.
  • Добавлен новый пасхальный яйцо в IDE 🐶🦆.

  Усовершенствования продукта

  • Улучшения производительности и снижение медлительности IDE. IDE должна работать быстрее и отзывчивее.
  • Улучшения надежности – Улучшенное управление ошибками, которое ранее ставило IDE в плохое состояние.
  • Исправлен список параметров выпадающего меню для кнопки Сборки.
  • Отрегулирована продолжительность стартовой страницы.
  • Добавлены фрагменты кода для тестов unique и not_null для yml файлов.
  • Добавлены фрагменты кода для метрик на основе версий dbt окружения.
  • Изменено "коммит и отправка" на "коммит и синхронизация", чтобы лучше отразить действие.
  • Улучшено сообщение об ошибке при сохранении или переименовании файлов с дублирующими именами.

  Исправления ошибок

  • Вы больше не сталкиваетесь с сообщением RPC server got an unknown async ID случайным образом.
  • Теперь вы можете видеть выпадающее меню кнопки сборки, которое было скрыто за экраном пустого DAG.
  • Теперь вы можете закрыть уведомления о сбое команды, когда открыта панель истории.
  • Вы больше не сталкиваетесь с сообщением Что-то пошло не так при предварительном просмотре модели.
  • Теперь вы можете видеть статус репозитория в IDE, и IDE находит папку SSH.
  • Полосы прокрутки и загрузка CSV больше не мигают в области предварительного просмотра.