Перейти к основному содержимому

Обновление dbt за сентябрь 2021: DAG в IDE + API метаданных в GA

· 5 мин. чтения
Lauren Craigie
Product Marketing at dbt Labs
Обновление за февраль 2024 года

Прошло уже несколько лет с тех пор, как dbt-core достиг версии 1.0! С тех пор мы взяли на себя обязательство по возможности не выпускать ломающие изменения, и обновление версий dbt Core стало значительно проще.

В 2024 году мы идём ещё дальше и делаем следующее:

  • Стабилизация интерфейсов для всех — разработчиков и сопровождающих адаптеров, потребителей метаданных и, конечно же, всех, кто пишет код dbt, — как описано в обновлении нашей дорожной карты за ноябрь 2023 года.
  • Внедрение каналов обновлений (ранее известных как Versionless) в dbt Cloud. Больше никаких ручных обновлений и необходимости во втором проекте-песочнице только ради того, чтобы опробовать новые возможности в среде разработки. Подробнее см. в разделе Обновление версии Core в Cloud.

Остальную часть этого поста мы оставляем без изменений, чтобы мы все могли вспомнить, как это было раньше. Приятной прогулки по волнам памяти.

Привет!

Помните? 21-й день сентября? 🎶 Конечно, помните, это было два дня назад. Ну, это уже победа в вашем активе, а день только начался! Так давайте добьемся победы для кого-то еще — например, для Джереми Коэна, менеджера по продукту dbt Core.

Я уверен, вы знаете, что половина обновлений в этом письме автоматически внедряется, когда мы обновляем всех до последней версии dbt Cloud 🚀

Но знали ли вы, что другая половина требует, чтобы вы (или ваш администратор аккаунта) активно переключались на последнюю версию dbt Core? 😱 Если это не происходит регулярно (видео-инструкция здесь), вы можете упустить важные улучшения производительности, стабильности и скорости.

Сделайте Джереми приятное и загляните в блог, который он только что опубликовал, о том, почему это имеет еще большее значение в преддверии 💥dbt v1.0💥. Пока мы раздаем победы, не забудьте также зарегистрироваться на его выступление на Coalesce!

Как настроить ваш dbt репозиторий (один или несколько)?

· 7 мин. чтения
Amy Chen
Product Manager at dbt Labs

В dbt Labs, по мере того как все больше людей начинают использовать dbt, мы начали замечать все больше и больше случаев использования, которые расширяют границы наших установленных лучших практик. Это особенно актуально для тех, кто внедряет dbt в корпоративной среде.

После двух лет помощи компаниям с численностью сотрудников от 20 до 10 000+ в реализации dbt и dbt Cloud, ниже я постараюсь ответить на вопрос: "Должен ли у меня быть один репозиторий для моего dbt проекта или несколько?" Альтернативное название: "Быть или не быть монорепозиторию, вот в чем вопрос!"

Как создать модели почти в реальном времени, используя только dbt + SQL

· 8 мин. чтения
Amy Chen
Product Manager at dbt Labs
Более актуальная информация доступна

С момента первой публикации этого поста многие платформы данных добавили поддержку материализованных представлений, которые являются более совершенным способом достижения целей, изложенных здесь. Мы рекомендуем их вместо подхода, описанного ниже.

Прежде чем я углублюсь в то, как это создать, я должен сказать следующее. Вам, вероятно, это не нужно. Я, вместе с моими коллегами из Fishtown, провел бесчисленные часы, работая с клиентами, которые запрашивают потоковые данные почти в реальном времени. Однако, когда мы начинаем углубляться в проект, часто оказывается, что такой случай использования отсутствует. Существует множество причин, по которым потоковая передача данных почти в реальном времени не подходит. Две ключевые из них:

  1. Исходные данные не обновляются достаточно часто.
  2. Конечные пользователи не смотрят на данные достаточно часто.

Поэтому, когда поступает запрос на моделирование почти в реальном времени, я (и вы тоже!) должен быть скептичен.

Ваш контрольный список для проекта dbt

· 9 мин. чтения
Amy Chen
Product Manager at dbt Labs
Dave Connors
Product Manager at dbt Labs

Если вы используете dbt более года, ваш проект устарел. Это естественно.

Появились новые функции. Изменяются хранилища данных. Обновляются лучшие практики. За последний год я и другие члены команды Fishtown Analytics (теперь dbt Labs!) провели семь аудитов для клиентов, которые использовали dbt минимум 2 месяца.