Перейти к основному содержимому

О важности именования: Конвенции именования моделей (Часть 1)

· 7 мин. чтения
Pat Kearns
Senior Analytics Engineer at dbt Labs

💾 Эта статья для всех, кто когда-либо сомневался в здравомыслии даты, не представленной в формате ISO 8601

Вам когда-нибудь поручали добавить новые поля или концепции в существующий набор моделей, и вы задавались вопросом:

  • Почему существует несколько моделей с почти одинаковыми, но слегка различающимися именами?

  • В какой модели находятся нужные мне поля?

  • Какая модель является предшественником или последователем какой?

Функция DATEADD в SQL для различных хранилищ данных

· 4 мин. чтения
David Krevitt
Marketing at dbt Labs

Я использовал функцию dateadd в SQL тысячи раз.

Я гуглил синтаксис функции dateadd в SQL все эти разы, кроме одного, когда решил нажать кнопку "Мне повезет" и попробовать.

При переключении между диалектами SQL (BigQuery, Postgres и Snowflake — мои основные), я буквально никогда не могу запомнить порядок аргументов (или точное название функции) dateadd.

Эта статья расскажет, как работает функция DATEADD, о нюансах ее использования в основных облачных хранилищах и о том, как стандартизировать различия в синтаксисе с помощью макроса dbt.

Обновление dbt за ноябрь 2021: v1.0, переменные окружения и вопрос о размере волн 🌊

· 3 мин. чтения
Lauren Craigie
Product Marketing at dbt Labs

Привет,

Прежде чем перейти к делу, хочу быстро напомнить, что до Coalesce осталось меньше 3 недель! 😱 Если бы вам нужно было выбрать только ОДНУ из более чем 60 сессий, обратите внимание на ключевую речь Тристана с Мартином Касадо из A16z.

Она включает два моих любимых элемента:

  1. Острота 🌶️

  2. На самом деле не о нас 😅

Мартин и Тристан обсудят то, о чем мы все, вероятно, задумывались с последней волной инноваций (и финансирования) в нашей области:

Является ли современный стек данных просто очередной волной в длинной череде модных технологий или он как-то более постоянен?

Узнайте их мнение и поделитесь своим, зарегистрировавшись здесь.

Обновление dbt за октябрь 2021: Метрики и фокусы 🎩

· 5 мин. чтения
Lauren Craigie
Product Marketing at dbt Labs
February 2024 Update

Прошло уже несколько лет с тех пор, как dbt-core достиг версии 1.0! С тех пор мы стараемся по возможности выпускать обновления без ломающих изменений, и обновление версий dbt Core стало значительно проще.

В 2024 году мы идём ещё дальше и делаем следующее:

  • Стабилизируем интерфейсы для всех — мейнтейнеров адаптеров, потребителей метаданных и (конечно же) всех, кто пишет dbt-код — как это обсуждалось в обновлении roadmap за ноябрь 2023 года.
  • Добавляем Release tracks (ранее известные как Versionless) в dbt Cloud. Больше никаких ручных обновлений и никакой необходимости в отдельном sandbox-проекте только для того, чтобы попробовать новые возможности в разработке. Подробнее см. в разделе Upgrade Core version in Cloud.

Мы оставляем остальную часть этого поста без изменений, чтобы мы все могли помнить, как это было раньше. Приятной прогулки по волнам памяти.

Привет,

Хотя у меня есть много интересного, чем можно поделиться в этом месяце, я не могу начать с чего-то другого, кроме этого:

Скриншот 2021-10-20 в 6.12.16 PM

Да, это официально:

💥dbt будет поддерживать определение метрик💥

С этой функцией вы сможете централизованно определять правила для агрегации метрик (например, "активные пользователи" или "MRR") в коде проекта dbt, который находится под версионным контролем, протестирован и документирован.

Обновление dbt за сентябрь 2021: DAG в IDE + API метаданных в GA

· 5 мин. чтения
Lauren Craigie
Product Marketing at dbt Labs
February 2024 Update

Прошло уже несколько лет с тех пор, как dbt-core достиг версии 1.0! С тех пор мы взяли на себя обязательство по возможности не выпускать ломающие изменения, и обновление версий dbt Core стало значительно проще.

В 2024 году мы идём ещё дальше и делаем следующее:

  • Стабилизируем интерфейсы для всех — разработчиков адаптеров, потребителей метаданных и (конечно же) людей, которые пишут dbt‑код повсюду — как обсуждалось в обновлении дорожной карты за ноябрь 2023 года.
  • Внедряем Release tracks (ранее известные как Versionless) в dbt Cloud. Больше никаких ручных обновлений и никакой необходимости в отдельном sandbox‑проекте только для того, чтобы попробовать новые возможности в разработке. Подробнее см. в разделе Upgrade Core version in Cloud.

Остальную часть этого поста мы оставляем без изменений, чтобы мы все могли вспомнить, как это было раньше. Приятной прогулки по волнам памяти.

Привет!

Помните? 21-й день сентября? 🎶 Конечно, помните, это было два дня назад. Ну, это уже победа в вашем активе, а день только начался! Так давайте добьемся победы для кого-то еще — например, для Джереми Коэна, менеджера по продукту dbt Core.

Я уверен, вы знаете, что половина обновлений в этом письме автоматически внедряется, когда мы обновляем всех до последней версии dbt Cloud 🚀

Но знали ли вы, что другая половина требует, чтобы вы (или ваш администратор аккаунта) активно переключались на последнюю версию dbt Core? 😱 Если это не происходит регулярно (видео-инструкция здесь), вы можете упустить важные улучшения производительности, стабильности и скорости.

Сделайте Джереми приятное и загляните в блог, который он только что опубликовал, о том, почему это имеет еще большее значение в преддверии 💥dbt v1.0💥. Пока мы раздаем победы, не забудьте также зарегистрироваться на его выступление на Coalesce!

Как настроить ваш dbt репозиторий (один или несколько)?

· 7 мин. чтения
Amy Chen
Product Manager at dbt Labs

В dbt Labs, по мере того как все больше людей начинают использовать dbt, мы начали замечать все больше и больше случаев использования, которые расширяют границы наших установленных лучших практик. Это особенно актуально для тех, кто внедряет dbt в корпоративной среде.

После двух лет помощи компаниям с численностью сотрудников от 20 до 10 000+ в реализации dbt и dbt Cloud, ниже я постараюсь ответить на вопрос: "Должен ли у меня быть один репозиторий для моего dbt проекта или несколько?" Альтернативное название: "Быть или не быть монорепозиторию, вот в чем вопрос!"

Как создать модели почти в реальном времени, используя только dbt + SQL

· 8 мин. чтения
Amy Chen
Product Manager at dbt Labs
Более актуальная информация доступна

С момента первой публикации этого поста многие платформы данных добавили поддержку материализованных представлений, которые являются более совершенным способом достижения целей, изложенных здесь. Мы рекомендуем их вместо подхода, описанного ниже.

Прежде чем я углублюсь в то, как это создать, я должен сказать следующее. Вам, вероятно, это не нужно. Я, вместе с моими коллегами из Fishtown, провел бесчисленные часы, работая с клиентами, которые запрашивают потоковые данные почти в реальном времени. Однако, когда мы начинаем углубляться в проект, часто оказывается, что такой случай использования отсутствует. Существует множество причин, по которым потоковая передача данных почти в реальном времени не подходит. Две ключевые из них:

  1. Исходные данные не обновляются достаточно часто.
  2. Конечные пользователи не смотрят на данные достаточно часто.

Поэтому, когда поступает запрос на моделирование почти в реальном времени, я (и вы тоже!) должен быть скептичен.

Ваш контрольный список для проекта dbt

· 9 мин. чтения
Amy Chen
Product Manager at dbt Labs
Dave Connors
Staff Developer Experience Advocate at dbt Labs

Если вы используете dbt более года, ваш проект устарел. Это естественно.

Появились новые функции. Изменяются хранилища данных. Обновляются лучшие практики. За последний год я и другие члены команды Fishtown Analytics (теперь dbt Labs!) провели семь аудитов для клиентов, которые использовали dbt минимум 2 месяца.