Перейти к основному содержимому

Примечания к выпускам dbt Cloud за 2022 год

Архивированные примечания к выпускам dbt Cloud за 2022 год

Декабрь 2022​

Значение по умолчанию для потоков изменено на 4​

Потоки помогают параллелизировать выполнение узлов в направленном ациклическом графе dbt (DAG).

Ранее значение потоков по умолчанию было 1, что могло увеличивать время выполнения вашего проекта. Чтобы сократить время выполнения проекта, значение потоков в пользовательских профилях теперь по умолчанию установлено на 4 потока.

Вы можете задать пользовательское количество потоков, если предпочитаете больше или меньше параллелизации.

Для получения дополнительной информации прочитайте Понимание потоков.

Создание новой задачи больше не запускает выполнение по умолчанию​

Чтобы сэкономить вычислительное время, новые задачи больше не будут запускаться по умолчанию. Когда вы создаете новую задачу в dbt Cloud, вы можете запустить ее, выбрав Запуск по расписанию и заполнив необходимую информацию о расписании и времени.

Для получения дополнительной информации обратитесь к Развертывание задач.

По умолчанию для вновь �созданных задачПо умолчанию для вновь созданных задач

Приватные пакеты должны клонироваться с использованием токенов доступа, предоставленных переменными окружения​

Поддерживаемый метод клонирования приватных пакетов GitHub — это метод токена git, где соответствующий токен доступа передается в URL репозитория пакета с помощью переменной окружения.

Небольшое количество людей могли клонировать приватные пакеты, используя собственное приложение GitHub dbt без явного предоставления токена доступа. Эта функциональность устаревает, так как она ограничена в гибкости.

Если вы использовали пакет, размещенный в приватном репозитории на GitHub, вы должны начать передавать токен доступа в URL.

Пример передачи токена доступа:

packages.yml

packages:
- git: "https://{{env_var('DBT_ENV_SECRET_GIT_CREDENTIAL')}}@github.com/dbt-labs/awesome_repo.git"

Ноябрь 2022​

Опыт работы с dbt Cloud + Databricks становится еще лучше​

dbt Cloud — это самый простой и надежный способ разработки и развертывания проекта dbt. Он помогает устранить сложность, предоставляя больше функций и лучшую производительность. Теперь доступен более простой опыт подключения к Databricks с поддержкой Unity Catalog и улучшенными настройками моделирования.

Для всех клиентов Databricks, уже использующих dbt Cloud с адаптером dbt-spark, теперь вы можете мигрировать ваше подключение на адаптер dbt-databricks, чтобы получить преимущества. Databricks стремится поддерживать и улучшать адаптер, поэтому этот интегрированный опыт продолжит предоставлять лучшее от dbt и Databricks.

Ознакомьтесь с нашим живым постом в блоге, чтобы узнать больше.

Дополнительные функции в новом и обновленном IDE​

Обновленная версия dbt Cloud IDE запустила четыре совершенно новых дополнительных функции, которые облегчают и ускоряют разработку в IDE.

Новые функции:

  • Форматирование — Форматируйте ваши dbt SQL файлы в единый стиль кода нажатием кнопки. Это использует инструмент sqlfmt.
  • Просмотр различий Git — Подсвечивает изменения в файле перед открытием pull-запроса.
  • Автозаполнение dbt — Четыре новых типа функций автозаполнения, которые помогут вам разрабатывать быстрее:
    • Используйте ref для автозаполнения имен моделей
    • Используйте source для автозаполнения имени источника + имени таблицы
    • Используйте macro для автозаполнения аргументов
    • Используйте env var для автозаполнения переменных окружения
  • Темный режим — Используйте темный режим в dbt Cloud IDE для условий с низкой освещенностью.

Подробнее о всех функциях Cloud IDE.

Уведомление об устаревании классического IDE​

В декабре 2022 года dbt Labs прекратит поддержку классического IDE. Новый и обновленный IDE будет доступен для всех пользователей dbt Cloud. Вы больше не сможете получить доступ к классическому IDE, и dbt Labs может ввести изменения, которые нарушат работу классического IDE.

С устареванием dbt Labs будет поддерживать только обновленную версию dbt Cloud IDE.

Клиенты Virtual Private Cloud (VPC) с вопросами о том, когда это изменение повлияет на ваш аккаунт, могут связаться с вашей командой аккаунта или службой поддержки для получения помощи.

Октябрь 2022​

Анонс нативной интеграции dbt Cloud с Azure DevOps​

Теперь dbt Cloud предлагает нативную интеграцию с Azure DevOps для клиентов dbt Cloud на корпоративном плане. Мы создали эту интеграцию, чтобы устранить трения, повысить безопасность и разблокировать новые продуктовые возможности для наших клиентов. Настройка интеграции Azure DevOps в dbt Cloud предоставляет:

  • простую настройку проекта dbt,
  • улучшенную безопасность,
  • обеспечение разрешений на репозиторий в dbt Cloud IDE и
  • dbt Cloud Slim CI.

Ознакомьтесь с нашим живым постом в блоге, чтобы узнать больше!

Представляем более быстрый, улучшенный и мощный Cloud IDE​

Новая версия Cloud IDE упрощает создание моделей данных без необходимости думать о настройке и конфигурации окружения.

Новый Cloud IDE включает в себя обновления производительности, улучшения эргономики и некоторые приятные улучшения!

Некоторые из улучшений включают:

  • Улучшенное время запуска Cloud IDE (запуск IDE), время взаимодействия (сохранение и фиксация) и надежность.
  • Лучшая организация и навигация с такими функциями, как перетаскивание файлов, хлебные крошки, выпадающая кнопка сборки и многое другое.
  • Вы можете использовать новые функции, такие как автоформатирование файла, автозаполнение имен моделей и просмотр различий Git, чтобы увидеть ваши изменения перед созданием pull-запроса.

Подробнее о новых функциях Cloud IDE и ознакомьтесь с новым и улучшенным Cloud IDE в блоге для получения дополнительной информации!

Сентябрь 2022​

Предупреждение об устаревании конечной точки List Steps API​

14 октября 2022 года dbt Labs прекращает поддержку конечной точки List Steps API. С 14 октября любые GET-запросы к этой конечной точке будут завершаться с ошибкой. Пожалуйста, подготовьтесь к прекращению использования конечной точки List Steps как можно скорее.

dbt Labs продолжит поддерживать конечную точку Retrieve Run, которая является жизнеспособной альтернативой в зависимости от случая использования.

Вы можете получить шаги выполнения для отдельного запуска с помощью GET-запроса по следующему URL, заменив YOUR_ACCESS_URL на соответствующий URL доступа для вашего региона и плана:

https://YOUR_ACCESS_URL/api/v2/accounts/{accountId}/runs/{runId}/?include_related=["run_steps"]

Запрос данных за последние три месяца с использованием API метаданных​

Чтобы сделать API метаданных более масштабируемым и улучшить его задержку, мы внедрили ограничения на хранение данных. Теперь API метаданных может запрашивать данные за последние три месяца. Например, если сегодня 1 марта, вы можете запросить данные до 1 января.

Для получения дополнительной информации см. API метаданных

Август 2022​

Поддержка источников из разных баз данных на экземплярах Redshift RA3​

Запросы между базами данных для экземпляров RA3 теперь поддерживаются проектами dbt Cloud, использующими подключение Redshift.

С помощью запросов между базами данных вы можете беспрепятственно запрашивать данные из любой базы данных в кластере, независимо от того, к какой базе данных вы подключены с помощью dbt.

Конфигурация подключения ra3_node по умолчанию установлена в true. Это позволяет пользователям:

  • использовать все возможности узлов RA3,
  • генерировать соответствующую документацию dbt.

Июль 2022​

Функция большого DAG​

Теперь вы можете выбрать Отобразить родословную, чтобы визуализировать большие DAG.

Большие DAG могут занимать много времени (10 или более секунд, если не минут) для отображения и могут вызывать сбои браузеров.

Новая кнопка предотвращает автоматическое отображение больших DAG. Вместо этого вы можете выбрать Отобразить родословную, чтобы загрузить визуализацию. Это должно повлиять примерно на 15% DAG.

Отобразить родословнуюОтобразить родословную

Май 2022​

Обновление истекших токенов доступа в IDE при использовании GitLab​

22 мая GitLab изменил способ обработки OAuth токенов доступа, которые не истекают. Мы обновили логику IDE для более плавной обработки истечения срока действия OAuth токенов. Теперь, когда ваш токен истекает после 2 часов непрерывного использования IDE, вам нужно будет повторно аутентифицироваться в GitLab, чтобы обновить истекший OAuth токен доступа. Мы будем обрабатывать последующие обновления за вас, если вы предоставите авторизацию при повторной аутентификации.

Этот дополнительный уровень безопасности в IDE доступен только для корпоративного плана dbt Cloud.

Апрель 2022​

Журнал аудита​

Чтобы просмотреть действия, выполненные людьми в вашей организации, dbt предоставляет журналы аудита пользовательских и системных событий. Журнал аудита dbt Cloud перечисляет события, вызванные в вашей организации за последние 90 дней.

Журнал аудита включает такие детали, как кто выполнил действие, что это было за действие и когда оно было выполнено. Для получения более подробной информации ознакомьтесь с документацией по журналу аудита для dbt Cloud Enterprise.

Учетные данные больше не стираются случайно при редактировании окружения​

Мы устранили ошибку, при которой обновление незашифрованных полей (например, потоков, имени схемы) в настройках окружения приводило к удалению секретных полей (например, пароля, ключевой пары, данных учетных данных) из этого окружения. Теперь пользователи могут свободно обновлять настройки окружения без опасения случайного стирания учетных данных.

Подтверждение электронной почты​

Чтобы повысить безопасность создания пользователей, пользователи dbt Cloud, созданные с использованием SAML Just-in-Time (JIT), теперь будут подтверждать личность через электронную почту для активации своей учетной записи. Использование электронной почты для подтверждения личности гарантирует, что пользователь все еще имеет доступ к тому же адресу электронной почты, который он использует для входа через SAML.

Улучшения производительности планировщика​

Мы внедрили наш новый распределенный планировщик, который имеет гораздо более быстрое время подготовки, особенно в начале часа. Мы делимся более подробной информацией о нашей работе и улучшениях в нашем посте в блоге о новостях продукта.

Март 2022​

Проблемы с нестабильным интернетом больше не вызывают сообщение о тайм-ауте сессии​

Мы исправили проблему, при которой нестабильное интернет-соединение могло вызывать неожиданное появление сообщения "Сессия IDE завершена по тайм-ауту". Люди, использующие VPN, чаще всего сталкивались с этой проблемой.

Мы обновили логику проверки состояния, чтобы теперь исключать проблемы с подключением на стороне клиента из проверки сессии IDE. Если вы потеряете интернет-соединение, мы больше не будем обновлять состояние проверки. Теперь потеря интернет-соединения больше не будет вызывать это неожиданное сообщение.

Исправление тайм-аута сессииИсправление тайм-аута сессии

Разделение времени в очереди на время ожидания и время подготовки​

Теперь dbt Cloud показывает "время ожидания" и "время подготовки" для выполнения, которые ранее выражались в совокупности как "время в очереди". Время ожидания фиксирует время, которое dbt Cloud ждет для запуска вашей задачи, если нет доступного слота выполнения или если предыдущий запуск той же задачи все еще выполняется. Время подготовки представляет время, которое требуется dbt Cloud для подготовки вашей задачи к запуску в вашем облачном хранилище данных.

Новое время подготовки и время ожиданияНовое время подготовки и время ожидания

Февраль 2022​

Обновления DAG и улучшения производительности​

Любите DAG в IDE так же, как и мы? Теперь, когда вы нажимаете на узел в DAG, модель или файл конфигурации откроется как новая вкладка в IDE, чтобы вы могли напрямую просматривать или редактировать код. Мы продолжим выпускать улучшения эргономики для разработчиков в течение года.

Улучшения производительности и усовершенствования​

  • Обновлены рекомендуемые команды dbt в IDE, чтобы включить команды dbt Core v1.0, такие как "build" и аргумент "--select".

Токены сервиса и исправления ошибок​

Теперь токены сервиса могут быть назначены с детализированными разрешениями для обеспечения минимального доступа. Если вы находитесь на корпоративном плане, вы можете назначить любой набор разрешений предприятия для вновь выданных токенов сервиса. Если вы находитесь на плане Teams, вы можете назначить набор разрешений администратора задач для вновь выданных токенов сервиса. Мы настоятельно рекомендуем вам переиздать токены сервиса с этими новыми разрешениями, чтобы повысить вашу безопасность! См. документацию здесь.

Новые продукты и функции​

Исправления ошибок​

  • Учетные данные больше не удаляются случайно, когда пользователь обновляет настройку окружения.

Январь 2022​

Сниппеты автозаполнения для SQL и YAML файлов в IDE​

Некоторые примечательные улучшения включают сниппеты автозаполнения для sql и YAML файлов в IDE, которые теперь доступны для использования! Мы также добавили новую страницу уровня метрик на docs.getdbt.com, чтобы помочь вам начать думать об уровне метрик в dbt Cloud.

Улучшения производительности и усовершенствования​

  • Имена веток теперь по умолчанию устанавливаются как "main" вместо "master" в новых управляемых и неуправляемых Git-репозиториях.
  • Обновление сниппетов автозаполнения в IDE.

Время выполнения модели для многопользовательских команд и корпоративных аккаунтов​

Мы начали новый год с подарка! Многопользовательские команды и корпоративные аккаунты теперь могут использовать новую вкладку Время выполнения модели в dbt Cloud. Вы можете использовать эту вкладку, чтобы более подробно изучить долго выполняющиеся модели и определить, нуждаются ли они в рефакторинге или изменении расписания.

Мы начали новый год с подарка! Аккаунты Multi-tenant Team и Enterprise теперь могут использовать новую вкладку Model timing в dbt Cloud. С помощью этой вкладки вы можете детально изучать длительно выполняющиеся модели, чтобы определить, нуждаются ли они в рефакторинге или изменении расписания.

Улучшения производительности и усовершенствования​

  • Мы добавили проверку имен на стороне клиента для создания файлов или папок.
0
Отредактировать эту страницу