Перейти к основному содержимому

Обновление dbt за сентябрь 2021: DAG в IDE + API метаданных в GA

· 5 мин. чтения
Lauren Craigie
Product Marketing at dbt Labs
Обновление за февраль 2024 года

Прошло уже несколько лет с тех пор, как dbt-core достиг версии 1.0! С тех пор мы взяли на себя обязательство по возможности не выпускать ломающие изменения, и обновление версий dbt Core стало значительно проще.

В 2024 году мы идём ещё дальше и делаем следующее:

  • Стабилизация интерфейсов для всех — разработчиков и сопровождающих адаптеров, потребителей метаданных и, конечно же, всех, кто пишет код dbt, — как описано в обновлении нашей дорожной карты за ноябрь 2023 года.
  • Внедрение каналов обновлений (ранее известных как Versionless) в dbt Cloud. Больше никаких ручных обновлений и необходимости во втором проекте-песочнице только ради того, чтобы опробовать новые возможности в среде разработки. Подробнее см. в разделе Обновление версии Core в Cloud.

Остальную часть этого поста мы оставляем без изменений, чтобы мы все могли вспомнить, как это было раньше. Приятной прогулки по волнам памяти.

Привет!

Помните? 21-й день сентября? 🎶 Конечно, помните, это было два дня назад. Ну, это уже победа в вашем активе, а день только начался! Так давайте добьемся победы для кого-то еще — например, для Джереми Коэна, менеджера по продукту dbt Core.

Я уверен, вы знаете, что половина обновлений в этом письме автоматически внедряется, когда мы обновляем всех до последней версии dbt Cloud 🚀

Но знали ли вы, что другая половина требует, чтобы вы (или ваш администратор аккаунта) активно переключались на последнюю версию dbt Core? 😱 Если это не происходит регулярно (видео-инструкция здесь), вы можете упустить важные улучшения производительности, стабильности и скорости.

Сделайте Джереми приятное и загляните в блог, который он только что опубликовал, о том, почему это имеет еще большее значение в преддверии 💥dbt v1.0💥. Пока мы раздаем победы, не забудьте также зарегистрироваться на его выступление на Coalesce!

Что нового​


dbt v0.20.2​

  • Загляните в канал #dbt-releases в сообществе dbt Slack для получения полной информации!
  • Больше исправлений ошибок, поддержка последней версии Python и лучшая на сегодняшний день частичная разборка для стабильной и быстрой разработки

dbt v0.21.0-rc1​

  • Загляните в канал #dbt-prereleases в сообществе dbt Slack и пост Джереми на Discourse!
  • dbt build: Вы видели наш тизер в прошлом месяце на Staging?
  • Определение конфигураций ресурсов во всех ожидаемых местах (например, YAML файлы)
  • Фиксация изменений в макросах в state:modified для лучшей Slim CI

Снимок экрана от 20.09.2021

dbt Cloud v1.1.32 - v1.1.35:​

  • Журнал изменений и дополнительные материалы находятся здесь.*
  • DAG в IDE: Мы хотим, чтобы пользователи имели беспрепятственный опыт при навигации между кодом и контекстом. Встраивание DAG в IDE значительно упрощает исследование структуры проекта Граф зависимостей в IDE dbt Cloud
  • Metadata API: Теперь общедоступен (GA)! Оценивайте состояние данных с помощью метаданных, созданных при последних запусках заданий dbt
  • Плитки статуса для дашбордов: Встраивайте эту плитку везде, где поддерживаются iFrame, чтобы быстро проверять актуальность данных

Новые ресурсы​


Что почитать 📚​

  • Подписались ли вы на Обзор аналитической инженерии? Тристан (основатель и генеральный директор dbt Labs) и Анна (директор сообщества) только начали чередовать отправку по воскресеньям, давая им обоим немного больше времени, чтобы углубиться в тему, которая актуальна для всех в Data Twitter. Последнее размышление Анны? Ваш PM по данным не является панацеей.

Что послушать 🎧​

  • Последний эпизод подкаста Analytics Engineering вышел сегодня утром, и я буквально слушаю его, пока печатаю. Гость, Бриттани Беннетт, говорит о найме на основе соответствия миссии, а не "технических" навыков. Я даже чувствую это в маркетинге продукта, поэтому мне интересно провести параллели! Также, если вы думаете, что могли бы лучше справиться с этими письмами (я не сомневаюсь, что вы могли бы), вы должны присоединиться к моей команде — свяжитесь со мной.

  • Если вы пропустили предыдущий эпизод подкаста, наши друзья из Hex присоединились к Тристану и Джулии, чтобы задать вопрос: "Что если бы сотрудничество команды данных выглядело больше как GDoc, чем как Git workflow?" 😱 Вдалеке можно услышать, как я спрашиваю, почему сотрудничество в маркетинге не может выглядеть больше как Powerpoint, но никто не отвечает, потому что никто не согласен.

Что испытать ✨​

  • Всемирно известный ведущий подкастов и менеджер по продукту Джулия Шоттенштейн выступает на конференции Open Source Data на следующей неделе! Она присоединится к звездной панели друзей из Snowplow, Meltano, Elementl и других.

  • Всемирно известная воздушная акробатка и архитектор решений Эми Чен проведет мастер-класс на Snowflake Build Summit в следующем месяце! Они поделятся как построить масштабируемый конвейер данных с использованием dbt + Snowflake для случаев использования в финансовой отчетности.

Что наблюдать 👀​

  • Это фото меня на вершине горы Уитни после моего одиночного похода SOBO по JMT в прошлом месяце. Это и причина, по которой я больше никогда не буду есть овсянку, и причина, по которой вы не получили новостную рассылку в августе. Извините за это.

Автор на вершине горы Уитни

Эй, спасибо за чтение. Я ценю вас.

Лорен Крейги
Директор по маркетингу продукта, dbt Labs