Примечания к выпускам платформы dbt за 2022 год
Архивные примечания к выпускам dbt за 2022 год
Декабрь 2022
Значение threads по умолчанию изменено на 4
Threads помогают распараллеливать выполнение узлов в направленном ациклическом графе dbt (DAG).
Ранее значение threads по умолчанию было равно 1, что могло увеличивать время выполнения вашего проекта. Чтобы сократить время выполнения, значение threads по умолчанию в пользовательских профилях теперь установлено равным 4.
При необходимости вы можете указать собственное количество threads, если вам требуется больше или меньше параллелизма.
Подробнее см. в разделе Understanding threads.
Создание нового job больше не запускает выполнение по умолчанию
Чтобы сократить затраты вычислительного времени, новые задания больше не будут запускаться по умолчанию. При создании нового задания в dbt вы можете настроить его запуск, выбрав Run on schedule и указав нужное расписание и время запуска.
Подробнее см. в разделе Deploy jobs.
Приватные пакеты необходимо клонировать с использованием токенов доступа, передаваемых через переменные окружения
Поддерживаемый способ клонирования приватных пакетов GitHub — это метод git token, при котором соответствующий access token передается в URL репозитория пакета через переменную окружения.
Небольшое число пользователей могли клонировать приватные пакеты, используя нативное GitHub-приложение dbt без явного указания access token. Эта функциональность выводится из эксплуатации, так как она обладает ограниченной гибкостью.
Если вы используете пакет, размещенный в приватном репозитории GitHub, теперь необходимо начать передавать access token в URL.
Пример передачи access token:
packages:
- git: "https://{{env_var('DBT_ENV_SECRET_GIT_CREDENTIAL')}}@github.com/dbt-labs/awesome_repo.git"
Ноябрь 2022
Опыт работы с dbt Cloud + Databricks становится еще лучше
dbt — самый простой и надежный способ разрабатывать и развертывать проекты dbt. Он помогает снизить сложность работы, предоставляя при этом больше возможностей и более высокую производительность. Теперь вам доступно упрощенное подключение к Databricks с поддержкой Unity Catalog от Databricks и улучшенными настройками моделирования по умолчанию.
Все клиенты Databricks, которые уже используют dbt с адаптером dbt-spark, теперь могут перевести свое подключение на адаптер dbt-databricks, чтобы воспользоваться этими преимуществами. Databricks берет на себя поддержку и совершенствование адаптера, поэтому эта интеграция и дальше будет предоставлять лучшие возможности dbt и Databricks.
Подробнее читайте в блоге dbt.
Дополнительные возможности в новом и обновленном IDE
В обновлённой версии Studio IDE появились четыре совершенно новые функции, которые упрощают и ускоряют разработку в Studio IDE.
- Форматирование — Приводите SQL-файлы dbt к единому стилю кода одним нажатием кнопки. Для этого используется инструмент sqlfmt.
- Просмотр различий Git — Подсвечивает изменения в файле перед созданием пул-реквеста.
- Автодополнение dbt — Четыре новых вида автодополнения помогут вам ускорить разработку:
- Используйте
refдля автодополнения имён моделей - Используйте
sourceдля автодополнения имени источника + имени таблицы - Используйте
macroдля автодополнения аргументов - Используйте
env varдля автодополнения переменных окружения
- Используйте
- Тёмная тема — Используйте тёмную тему в Studio IDE при слабом освещении.
Подробнее обо всех возможностях Cloud Studio IDE.
Прекращение поддержки классической IDE
В декабре 2022 года dbt Labs прекратит поддержку классической версии Studio IDE. Новая, обновлённая версия Studio IDE будет доступна всем пользователям dbt. Вы больше не сможете получить доступ к классической версии Studio IDE, а dbt Labs может внести изменения, которые нарушат работу классической версии Studio IDE.
После прекращения поддержки классической версии dbt Labs будет поддерживать только обновлённую версию Studio IDE.
Клиенты с Virtual Private Cloud (VPC) могут уточнить сроки перехода у своего менеджера или в службе поддержки.
Октябрь 2022
Анонс нативной интеграции dbt Cloud с Azure DevOps
dbt теперь предлагает встроенную интеграцию с Azure DevOps для клиентов dbt на тарифном плане Enterprise. Мы разработали эту интеграцию, чтобы упростить работу, повысить безопасность и открыть нашим клиентам совершенно новые возможности продукта. Настройка интеграции с Azure DevOps в dbt обеспечивает:
- простую настройку проектов dbt,
- повышенный уровень безопасности,
- соблюдение прав доступа к репозиторию в Studio IDE и
- использование Slim CI в dbt.
Подробнее — в нашем актуальном блоге!
Представляем более быстрый, улучшенный и мощный Cloud IDE
Новая версия облачной среды Studio IDE позволяет с легкостью создавать модели данных, не тратя много сил на настройку и конфигурацию окружения.
Новая облачная среда Studio IDE стала производительнее и удобнее в работе, а также получила несколько приятных улучшений!
Некоторые из улучшений:
- Сокращено время запуска облачной Studio IDE (запуск Studio IDE), ускорено выполнение операций (сохранение и создание коммитов) и повышена надёжность.
- Улучшены организация и навигация благодаря таким функциям, как перетаскивание файлов, навигационная цепочка, раскрывающееся меню кнопки сборки и многое другое.
- Вы можете использовать новые функции, такие как автоматическое форматирование файлов, автодополнение имён моделей и просмотр изменений через git diff перед созданием пул-реквеста.
Подробнее о новых возможностях читайте в разделе Функции облачной Studio IDE и в статье блога Новая и улучшенная облачная Studio IDE!
Сентябрь 2022
Предупреждение о выводе из эксплуатации API endpoint List Steps
14 октября 2022 года dbt Labs выведет из эксплуатации API endpoint List Steps. Начиная с этой даты любые GET-запросы к этому endpoint будут завершаться ошибкой. Пожалуйста, как можно скорее подготовьтесь к отказу от использования List Steps.
dbt Labs продолжит поддерживать endpoint Retrieve Run, который может служить альтернативой в зависимости от сценария использования.
Вы можете получить шаги выполнения отдельного запуска с помощью GET-запроса по следующему URL, заменив YOUR_ACCESS_URL на соответствующий URL доступа для вашего региона и тарифного плана:
https://YOUR_ACCESS_URL/api/v2/accounts/{accountId}/runs/{runId}/?include_related=["run_steps"]
Запрос данных за последние три месяца через metadata API
Чтобы сделать metadata API более масштабируемым и снизить задержки, были внедрены ограничения на хранение данных. Теперь metadata API позволяет запрашивать данные только за последние три месяца. Например, если сегодня 1 марта, вы сможете получить данные, начиная с 1 января.
Дополнительную информацию см. в разделе Metadata API
Август 2022
Поддержка cross-database sources на инстансах Redshift RA3
Проекты dbt, использующие подключение к Redshift, теперь поддерживают запросы к нескольким базам данных для инстансов RA3.
С помощью cross-database запросов вы можете прозрачно обращаться к данным из любой базы данных в кластере, независимо от того, к какой базе данных вы подключены через dbt.
Параметр настройки подключения ra3_node теперь по умолчанию имеет значение true. Это позволяет пользователям:
- использовать все возможности узлов RA3,
- корректно генерировать документацию dbt.
Июль 2022
Функция Large DAG
Теперь вы можете выбрать Render Lineage для визуализации больших DAG.
Отрисовка больших DAG может занимать значительное время (10 и более секунд, а иногда и минуты) и приводить к сбоям браузера.
Новая кнопка предотвращает автоматическую отрисовку больших DAG. Вместо этого вы можете нажать Render Lineage, чтобы загрузить визуализацию. Это затрагивает примерно 15% DAG.
Май 2022
Обновление просроченных access token в IDE при использовании GitLab
22 мая GitLab изменил порядок обработки токенов доступа OAuth без срока действия. Мы обновили логику Studio IDE, чтобы корректнее обрабатывать истечение срока действия токенов OAuth. Теперь, когда срок действия вашего токена впервые истечёт после 2 часов непрерывного использования Studio IDE, вам потребуется повторно пройти аутентификацию в GitLab, чтобы обновить просроченный токен доступа OAuth. Мы возьмём на себя последующие обновления токена, если вы предоставите соответствующее разрешение при повторной аутентификации.
Этот дополнительный уровень безопасности в Studio IDE доступен только в тарифном плане Enterprise для dbt.
Апрель 2022
Журнал аудита
Для просмотра действий, выполненных пользователями вашей организации, dbt предоставляет журналы аудита пользовательских и системных событий. Журнал аудита dbt содержит события, произошедшие в вашей организации за последние 90 дней.
Журнал аудита содержит такие сведения, как кто выполнил действие, что это было за действие и когда оно было выполнено. Дополнительные сведения см. в документации по журналу аудита для dbt Enterprise.
Учетные данные больше не удаляются при редактировании окружения
Мы исправили ошибку, из-за которой обновление незашифрованных полей (например, threads, имя схемы) в настройках окружения приводило к удалению секретных полей (например, пароля, keypair, данных учетных записей). Теперь пользователи могут безопасно обновлять настройки окружения без риска случайной потери учетных данных.
Подтверждение email
Для повышения безопасности создания пользователей пользователи dbt, созданные с помощью SAML Just-in-Time (JIT), теперь должны подтверждать свою личность по электронной почте, чтобы активировать учётную запись. Подтверждение личности по электронной почте позволяет убедиться, что у пользователя по-прежнему есть доступ к тому же адресу электронной почты, который он использует для входа через SAML.
Улучшения производительности планировщика
Мы развернули новый распределенный планировщик, который значительно ускоряет этап подготовки, особенно в начале часа. Подробнее о проделанной работе и улучшениях — в нашем блоге продуктовых новостей.
Март 2022
Нестабильное интернет-соединение больше не вызывает сообщение о завершении сессии
Мы исправили проблему, из-за которой при нестабильном интернет-соединении могло неожиданно появляться сообщение «Время ожидания сеанса Studio IDE истекло». Чаще всего с этой проблемой сталкивались пользователи VPN.
Мы обновили логику проверки работоспособности: теперь при проверке сеанса Studio IDE не учитываются проблемы с подключением на стороне клиента. Если интернет-соединение прерывается, состояние проверки работоспособности больше не обновляется. Теперь потеря интернет-соединения больше не приводит к неожиданному появлению этого сообщения.
Разделение queue time на waiting time и prep time
dbt теперь показывает «время ожидания» и «время подготовки» для запуска, которые раньше отображались вместе как «время в очереди». Время ожидания — это время, в течение которого dbt ожидает возможности запустить ваше задание, если нет свободного слота для запуска или предыдущий запуск того же задания ещё выполняется. Время подготовки — это время, необходимое dbt для подготовки вашего задания к выполнению в облачном хранилище данных.
Февраль 2022
Обновления DAG и улучшения производительности
Нравится DAG в Studio IDE так же, как и нам? Теперь при нажатии на узел DAG файл модели или конфигурации откроется в новой вкладке в Studio IDE, и вы сможете сразу просмотреть или отредактировать код. В течение года мы продолжим выпускать новые функции, которые сделают работу разработчиков удобнее.
Улучшения и оптимизации производительности
- Обновлены рекомендуемые команды dbt в Studio IDE: добавлены команды dbt v1, такие как "build", и аргумент "--select".
Service tokens и исправления ошибок
Теперь сервисным токенам можно назначать детализированные разрешения, чтобы обеспечить доступ по принципу минимальных привилегий. Если вы используете тариф Enterprise, вы можете назначить любой набор разрешений Enterprise новым сервисным токенам. Если вы используете тариф Teams, вы можете назначить новым сервисным токенам набор разрешений Job Admin. Мы настоятельно рекомендуем перевыпустить сервисные токены с этими новыми разрешениями, чтобы повысить уровень безопасности! Подробнее см. в документации.
Новые продукты и возможности
- Мы присоединились к программе GitHub secret scanning partner, чтобы лучше защищать ваши токены от случайного публичного раскрытия и мошеннического использования.
Исправления ошибок
- Учетные данные больше не удаляются при обновлении настроек окружения пользователем.
Январь 2022
Сниппеты автодополнения для SQL и YAML файлов в IDE
Среди заметных улучшений — сниппеты автодополнения для SQL и YAML файлов в IDE, которые уже доступны для использования. Также мы добавили новую страницу metric layer на docs.getdbt.com, чтобы помочь вам начать работу с метриками в dbt Cloud.
Улучшения и оптимизации производительности
- В новых управляемых и неуправляемых репозиториях Git имя ветки по умолчанию теперь "main" вместо "master".
- Обновлены сниппеты автодополнения в IDE.
Model timing для Multi-tenant Team и Enterprise аккаунтов
Мы начали новый год с подарка! Аккаунтам Team и Enterprise в мультитенантной среде теперь доступна новая вкладка Время выполнения моделей в dbt. На этой вкладке можно подробнее изучить модели с длительным временем выполнения, чтобы определить, нужен ли им рефакторинг или изменение расписания.
Улучшения производительности
- Добавлена клиентская валидация имен при создании файлов и папок.


