Обновление dbt за сентябрь 2021: DAG в IDE + API метаданных в GA

February 2024 Update

Прошло уже несколько лет с тех пор, как dbt-core достиг версии 1.0! С тех пор мы взяли на себя обязательство по возможности не выпускать ломающие изменения, и обновление версий dbt Core стало значительно проще.

В 2024 году мы идём ещё дальше и делаем следующее:

• Стабилизируем интерфейсы для всех — разработчиков адаптеров, потребителей метаданных и (конечно же) людей, которые пишут dbt‑код повсюду — как обсуждалось в обновлении дорожной карты за ноябрь 2023 года.
• Внедряем Release tracks (ранее известные как Versionless) в dbt Cloud. Больше никаких ручных обновлений и никакой необходимости в отдельном sandbox‑проекте только для того, чтобы попробовать новые возможности в разработке. Подробнее см. в разделе Upgrade Core version in Cloud.

Остальную часть этого поста мы оставляем без изменений, чтобы мы все могли вспомнить, как это было раньше. Приятной прогулки по волнам памяти.

Привет!

Помните? 21-й день сентября? 🎶 Конечно, помните, это было два дня назад. Ну, это уже победа в вашем активе, а день только начался! Так давайте добьемся победы для кого-то еще — например, для Джереми Коэна, менеджера по продукту dbt Core.

Я уверен, вы знаете, что половина обновлений в этом письме автоматически внедряется, когда мы обновляем всех до последней версии dbt Cloud 🚀

Но знали ли вы, что другая половина требует, чтобы вы (или ваш администратор аккаунта) активно переключались на последнюю версию dbt Core? 😱 Если это не происходит регулярно (видео-инструкция здесь), вы можете упустить важные улучшения производительности, стабильности и скорости.

Сделайте Джереми приятное и загляните в блог, который он только что опубликовал, о том, почему это имеет еще большее значение в преддверии 💥dbt v1.0💥. Пока мы раздаем победы, не забудьте также зарегистрироваться на его выступление на Coalesce!

Что нового

---

dbt v0.20.2

• Загляните в канал #dbt-releases в сообществе dbt Slack для получения полной информации!
• Больше исправлений ошибок, поддержка последней версии Python и лучшая на сегодняшний день частичная разборка для стабильной и быстрой разработки

dbt v0.21.0-rc1

• Загляните в канал #dbt-prereleases в сообществе dbt Slack и пост Джереми на Discourse!
• dbt build: Вы видели наш тизер в прошлом месяце на Staging?
• Определение конфигураций ресурсов во всех ожидаемых местах (например, YAML файлы)
• Фиксация изменений в макросах в state:modified для лучшей Slim CI

dbt Cloud v1.1.32 - v1.1.35:

• Журнал изменений и дополнительные материалы находятся здесь.*
• DAG в IDE: Мы хотим, чтобы пользователи имели беспрепятственный опыт при навигации между кодом и контекстом. Встраивание DAG в IDE значительно упрощает исследование структуры проекта
• API метаданных: Теперь в GA! Оцените здоровье данных с помощью метаданных, сгенерированных недавними запусками задач dbt
• Плитки статуса на панели управления: Встраивайте эту плитку в любое место, где живут iFrames, чтобы быстро проверить свежесть данных

Новые ресурсы

---

Что почитать 📚

• Подписались ли вы на Обзор аналитической инженерии? Тристан (основатель и генеральный директор dbt Labs) и Анна (директор сообщества) только начали чередовать отправку по воскресеньям, давая им обоим немного больше времени, чтобы углубиться в тему, которая актуальна для всех в Data Twitter. Последнее размышление Анны? Ваш PM по данным не является панацеей.

Что послушать 🎧

• Последний эпизод подкаста Analytics Engineering вышел сегодня утром, и я буквально слушаю его, пока печатаю. Гость, Бриттани Беннетт, говорит о найме на основе соответствия миссии, а не "технических" навыков. Я даже чувствую это в маркетинге продукта, поэтому мне интересно провести параллели! Также, если вы думаете, что могли бы лучше справиться с этими письмами (я не сомневаюсь, что вы могли бы), вы должны присоединиться к моей команде — свяжитесь со мной.

• Если вы пропустили предыдущий эпизод подкаста, наши друзья из Hex присоединились к Тристану и Джулии, чтобы задать вопрос: "Что если бы сотрудничество команды данных выглядело больше как GDoc, чем как Git workflow?" 😱 Вдалеке можно услышать, как я спрашиваю, почему сотрудничество в маркетинге не может выглядеть больше как Powerpoint, но никто не отвечает, потому что никто не согласен.

Что испытать ✨

• Всемирно известный ведущий подкастов и менеджер по продукту Джулия Шоттенштейн выступает на конференции Open Source Data на следующей неделе! Она присоединится к звездной панели друзей из Snowplow, Meltano, Elementl и других.

• Всемирно известная воздушная акробатка и архитектор решений Эми Чен проведет мастер-класс на Snowflake Build Summit в следующем месяце! Они поделятся как построить масштабируемый конвейер данных с использованием dbt + Snowflake для случаев использования в финансовой отчетности.

Что наблюдать 👀

• Это фото меня на вершине горы Уитни после моего одиночного похода SOBO по JMT в прошлом месяце. Это и причина, по которой я больше никогда не буду есть овсянку, и причина, по которой вы не получили новостную рассылку в августе. Извините за это.

Эй, спасибо за чтение. Я ценю вас.

Лорен Крейги
Директор по маркетингу продукта, dbt Labs