Релизные заметки dbt Cloud за 2022 год

Архив релизных заметок для dbt за 2022 год

Декабрь 2022

Значение threads по умолчанию изменено на 4

Threads помогают распараллеливать выполнение узлов в направленном ациклическом графе dbt (DAG).

Ранее значение threads по умолчанию было равно 1, что могло увеличивать время выполнения вашего проекта. Чтобы сократить время выполнения, значение threads по умолчанию в пользовательских профилях теперь установлено равным 4.

При необходимости вы можете указать собственное количество threads, если вам требуется больше или меньше параллелизма.

Подробнее см. в разделе Understanding threads.

Создание нового job больше не запускает выполнение по умолчанию

Чтобы сократить использование вычислительных ресурсов, новые jobs больше не запускаются автоматически по умолчанию. При создании нового job в dbt вы можете запустить его, выбрав Run on schedule и указав нужное расписание и время выполнения.

Подробнее см. в разделе Deploy jobs.

Значение по умолчанию для вновь создаваемых jobs

Приватные пакеты должны клонироваться с использованием access token, переданных через переменные окружения

Поддерживаемый способ клонирования приватных пакетов GitHub — это метод git token, при котором соответствующий access token передается в URL репозитория пакета через переменную окружения.

Небольшое число пользователей могли клонировать приватные пакеты, используя нативное GitHub-приложение dbt без явного указания access token. Эта функциональность выводится из эксплуатации, так как она обладает ограниченной гибкостью.

Если вы используете пакет, размещенный в приватном репозитории GitHub, теперь необходимо начать передавать access token в URL.

Пример передачи access token:

packages.yml

packages:
- git: "https://{{env_var('DBT_ENV_SECRET_GIT_CREDENTIAL')}}@github.com/dbt-labs/awesome_repo.git"

Ноябрь 2022

Опыт работы с dbt Cloud + Databricks становится еще лучше

dbt — это самый простой и надежный способ разрабатывать и разворачивать проекты dbt. Он снижает сложность, предоставляя при этом больше возможностей и лучшую производительность. Теперь для вас доступен упрощенный процесс подключения к Databricks с поддержкой Unity Catalog и улучшенными настройками моделирования по умолчанию.

Для всех клиентов Databricks, которые уже используют dbt с адаптером dbt-spark, теперь доступна возможность миграции подключения на адаптер dbt-databricks, чтобы получить все преимущества. Компания Databricks продолжает поддерживать и развивать адаптер, поэтому интегрированный опыт будет и дальше объединять лучшее от dbt и Databricks.

Подробнее — в нашем актуальном блоге.

Дополнительные возможности в новом и обновленном IDE

Обновленная версия Studio IDE получила четыре совершенно новые функции, которые делают разработку в Studio IDE проще и быстрее.

Новые возможности:

• Formatting — форматирование SQL-файлов dbt в единый стиль одним нажатием кнопки. Используется инструмент sqlfmt.
• Просмотр diff в Git — подсветка изменений в файле перед созданием pull request.
• dbt autocomplete — четыре новых типа автодополнения, которые ускоряют разработку:
  • использование ref для автодополнения имен моделей
  • использование source для автодополнения имени source и таблицы
  • использование macro для автодополнения аргументов
  • использование env var для автодополнения переменных окружения
• Dark mode — использование темного режима в Studio IDE для работы при слабом освещении.

Подробнее обо всех возможностях Cloud Studio IDE.

Уведомление о выводе из эксплуатации Classic IDE

В декабре 2022 года dbt Labs выведет из эксплуатации классический Studio IDE. Новый и обновленный Studio IDE будет доступен для всех пользователей dbt. Доступ к классическому Studio IDE будет закрыт, а dbt Labs может внести изменения, которые нарушат его работу.

После вывода из эксплуатации dbt Labs будет поддерживать только обновленную версию Studio IDE.

Клиенты Virtual Private Cloud (VPC), у которых есть вопросы о том, когда это изменение затронет их аккаунт, могут обратиться к своей аккаунт-команде или в службу поддержки.

Октябрь 2022

Анонс нативной интеграции dbt Cloud с Azure DevOps

dbt теперь предлагает нативную интеграцию с Azure DevOps для клиентов dbt на тарифе Enterprise. Эта интеграция создана для снижения трения, повышения безопасности и открытия новых продуктовых возможностей. Настройка интеграции с Azure DevOps в dbt предоставляет:

• простой процесс настройки dbt-проекта,
• улучшенную модель безопасности,
• контроль прав доступа к репозиториям в Studio IDE,
• dbt Slim CI.

Подробнее — в нашем актуальном блоге!

Представляем более быстрый, улучшенный и мощный Cloud IDE

Новая версия Cloud Studio IDE позволяет легко создавать модели данных, практически не задумываясь о настройке окружения и конфигурации.

Новый Cloud Studio IDE включает улучшения производительности, удобства использования и ряд приятных доработок.

Некоторые из улучшений:

• Улучшенное время запуска Cloud Studio IDE, скорость взаимодействия (сохранение и коммиты) и надежность.
• Более удобная организация и навигация благодаря таким возможностям, как drag-and-drop файлов, breadcrumb-навигация, выпадающая кнопка сборки и многое другое.
• Новые функции, такие как автоформатирование файлов, автодополнение имен моделей и просмотр git diff перед созданием pull request.

Подробнее о новых возможностях Cloud Studio IDE, а также в блоге New and improved Cloud Studio IDE.

Сентябрь 2022

Предупреждение о выводе из эксплуатации API endpoint List Steps

14 октября 2022 года dbt Labs выведет из эксплуатации API endpoint List Steps. Начиная с этой даты любые GET-запросы к этому endpoint будут завершаться ошибкой. Пожалуйста, как можно скорее подготовьтесь к отказу от использования List Steps.

dbt Labs продолжит поддерживать endpoint Retrieve Run, который может служить альтернативой в зависимости от сценария использования.

Вы можете получать шаги выполнения для конкретного run с помощью GET-запроса по следующему URL, заменив YOUR_ACCESS_URL на соответствующий Access URL для вашего региона и тарифа:

https://YOUR_ACCESS_URL/api/v2/accounts/{accountId}/runs/{runId}/?include_related=["run_steps"]

Запрос данных за последние три месяца через metadata API

Чтобы сделать metadata API более масштабируемым и снизить задержки, были внедрены ограничения на хранение данных. Теперь metadata API позволяет запрашивать данные только за последние три месяца. Например, если сегодня 1 марта, вы сможете получить данные, начиная с 1 января.

Подробнее см. в разделе Metadata API.

Август 2022

Поддержка cross-database sources на инстансах Redshift RA3

Cross-database запросы для инстансов RA3 теперь поддерживаются в проектах dbt, использующих подключение к Redshift.

С помощью cross-database запросов вы можете прозрачно обращаться к данным из любой базы данных в кластере, независимо от того, к какой базе данных вы подключены через dbt.

Параметр конфигурации подключения ra3_node теперь по умолчанию установлен в true. Это позволяет пользователям:

• использовать все возможности узлов RA3,
• корректно генерировать документацию dbt.

Июль 2022

Функция Large DAG

Теперь вы можете выбрать Render Lineage для визуализации больших DAG.

Отрисовка больших DAG может занимать значительное время (10 и более секунд, а иногда и минуты) и приводить к сбоям браузера.

Новая кнопка предотвращает автоматическую отрисовку больших DAG. Вместо этого вы можете нажать Render Lineage, чтобы загрузить визуализацию. Это затрагивает примерно 15% DAG.

Render Lineage

Май 2022

Обновление просроченных access token в IDE при использовании GitLab

22 мая GitLab изменил поведение OAuth access token без срока действия. Мы обновили логику Studio IDE, чтобы более корректно обрабатывать истечение срока действия OAuth-токенов. Теперь при первом истечении срока действия токена после 2 часов непрерывного использования Studio IDE вам потребуется повторно пройти аутентификацию в GitLab для обновления токена. Последующие обновления будут выполняться автоматически, если вы предоставите разрешение при повторной аутентификации.

Этот дополнительный уровень безопасности в Studio IDE доступен только для тарифа Enterprise в dbt.

Апрель 2022

Журнал аудита

Для отслеживания действий пользователей в вашей организации dbt предоставляет журналы аудита пользовательских и системных событий. Audit log dbt содержит события, произошедшие в вашей организации за последние 90 дней.

Audit log включает такие детали, как кто выполнил действие, какое действие было выполнено и когда. Подробнее см. документацию audit log для dbt Enterprise.

Учетные данные больше не удаляются при редактировании окружения

Мы исправили ошибку, из-за которой обновление незашифрованных полей (например, threads, имя схемы) в настройках окружения приводило к удалению секретных полей (например, пароля, keypair, данных учетных записей). Теперь пользователи могут безопасно обновлять настройки окружения без риска случайной потери учетных данных.

Подтверждение email

Для повышения безопасности создания пользователей, пользователи dbt, создаваемые через SAML Just-in-Time (JIT), теперь должны подтверждать свою личность по электронной почте для активации аккаунта. Использование email для подтверждения личности гарантирует, что пользователь по-прежнему имеет доступ к адресу электронной почты, который используется для входа через SAML.

Улучшения производительности планировщика

Мы развернули новый распределенный планировщик, который значительно ускоряет этап подготовки, особенно в начале часа. Подробнее о проделанной работе и улучшениях — в нашем блоге продуктовых новостей.

Март 2022

Нестабильное интернет-соединение больше не вызывает сообщение о завершении сессии

Мы исправили проблему, при которой нестабильное интернет-соединение могло приводить к неожиданному появлению сообщения «Studio IDE session timed out». Чаще всего с этим сталкивались пользователи VPN.

Мы обновили логику проверки состояния, исключив клиентские проблемы с подключением из проверки сессии Studio IDE. Теперь при потере интернет-соединения состояние проверки не обновляется, и подобные сообщения больше не появляются.

Fix Session Timeout

Разделение queue time на waiting time и prep time

Теперь dbt отображает "waiting time" и "prep time" для run, которые ранее объединялись в общее "queue time". Waiting time отражает время ожидания запуска job, если нет свободного слота или предыдущий run того же job еще выполняется. Prep time — это время, необходимое dbt для подготовки job к запуску в вашем облачном хранилище данных.

Новое разделение prep time и waiting time

Февраль 2022

Обновления DAG и улучшения производительности

Любите DAG в Studio IDE так же, как и мы? Теперь при клике на узел в DAG модель или конфигурационный файл открывается в новой вкладке Studio IDE, что позволяет сразу просматривать или редактировать код. Мы будем продолжать улучшать удобство разработки в течение всего года.

Улучшения и оптимизации производительности

• Обновлены рекомендуемые команды dbt в Studio IDE с учетом команд dbt Core v1.0, таких как build и аргумент --select.

Service tokens и исправления ошибок

Service tokens теперь могут получать детализированные разрешения для реализации принципа минимальных привилегий. На тарифе Enterprise вы можете назначать любые enterprise-наборы разрешений для новых service tokens. На тарифе Teams — набор разрешений Job Admin. Мы настоятельно рекомендуем перевыпустить service tokens с новыми разрешениями для повышения уровня безопасности. Подробнее см. документацию здесь.

Новые продукты и возможности

• Мы присоединились к программе GitHub secret scanning partner, чтобы лучше защищать ваши токены от случайного публичного раскрытия и мошеннического использования.

Исправления ошибок

• Учетные данные больше не удаляются при обновлении настроек окружения пользователем.

Январь 2022

Сниппеты автодополнения для SQL и YAML файлов в IDE

Среди заметных улучшений — сниппеты автодополнения для SQL и YAML файлов в IDE, которые уже доступны для использования. Также мы добавили новую страницу metric layer на docs.getdbt.com, чтобы помочь вам начать работу с метриками в dbt Cloud.

Улучшения и оптимизации производительности

• В новых управляемых и неуправляемых репозиториях Git имя ветки по умолчанию теперь "main" вместо "master".
• Обновлены сниппеты автодополнения в IDE.

Model timing для Multi-tenant Team и Enterprise аккаунтов

Мы начали новый год с подарка! Multi-tenant Team и Enterprise аккаунты теперь могут использовать новую вкладку Model timing в dbt. С ее помощью вы можете глубже анализировать долгие модели и определять, требуется ли их рефакторинг или перенос по расписанию.

Улучшения и оптимизации производительности

• Добавлена клиентская валидация имен при создании файлов и папок.

Нашли ошибку?

Создать GitHub Issue