Обновление dbt за октябрь 2021: Метрики и фокусы 🎩
Привет,
Хотя у меня есть много интересного, чем можно поделиться в этом месяце, я не могу начать с чего-то другого, кроме этого:
Да, это официально:
💥dbt будет поддерживать определение метрик💥
С этой функцией вы сможете централизованно определять правила для агрегации метрик (например, "активные пользователи" или "MRR") в коде проекта dbt, который находится под версионным контролем, протестирован и документирова н.
Нам еще предстоит пройти долгий путь, но в будущем вы сможете исследовать эти метрики в инструментах BI и аналитики, которые вы знаете и любите.
Джереми (менеджер продукта dbt) расскажет больше о слое метрик в своем презентации v1.0 на Coalesce.
Хотя эта тема играет значительную вспомогательную роль в ключевой речи Дрю, это не вся история🍿. В своем выступлении Дрю свяжет несколько тем, актуальных для индустрии прямо сейчас, и представит некоторые очень захватывающие перспективы для dbt и сообщества в целом.
Вы действительно не хотите пропустить это - зарегистрируйтесь бесплатно здесь.
Что нового
У меня есть три действительно захватывающие вещи, которыми я хочу поделиться в этом месяце!
dbt v0.21:
-
Посмотрите канал #dbt-releases в Slack-сообществе dbt для получения полной информации!
-
dbt build здесь! 🙌 Эта команда выполняет все, что вы хотите сделать в DAG, по порядку, и делает это с мнениями: Запускает модели, тестирует тесты, делает снимки и загружает данные, уделяя приоритетное внимание качеству и устойчивости. Сократите несколько шагов до одной команды и следуйте лучшим практикам 🚗
v1.0 beta:
-
Посмотрите канал #dbt-prereleases в Slack-сообществе dbt и пост Джереми на Discourse!*
-
v1.0 — это огромная веха со всеми дополнениями, включая 100-кратное ускорение парсинга проектов по сравнению с v0.19.0 ⚡. Мы рады отпраздновать это с вами во время сессии Джереми на Coalesce, но до тех пор мы надеемся, что вы попробуете бета-версию! И не забудьте присоединиться к каналу #dbt-v1-readiness в Slack.
dbt Cloud v1.1.36 - v1.1.37
-
Список изменений и документация находятся здесь.
-
Бета-версия узких мест модели: Определите долго выполняющиеся модели, которые можно переработать (или переназначить). Новая панель времени выполнения модели на странице деталей запуска помогает быстро оценить состав задания, порядок и продолжительность, чтобы оптимизировать ваши рабочие процессы и сократить затраты 💰
Вкладка Model Timing в dbt Cloud выделяет модели, которые занимают особенно много времени для выполнения.
Новые ресурсы
Что попробовать 🛠️
- Почти 500 аккаунтов dbt Cloud используют CI. Хотите знать почему? (или, может быть... как?) Джулия объясняет это в своем последнем блоге и делится, как выбрать и настроить непрерывную доставку или развертывание в вашей организации.
- Hex только что запустил интеграцию с dbt! Она использует dbt Cloud Metadata API, чтобы отображать метаданные из dbt прямо в Hex, позволяя вам быстро получить необходимый контекст по таким вещам, как свежесть данных, без необходимости переключаться между несколькими приложениями и вкладками браузера. Начните здесь.
- Адаптер dbt-Rockset (теперь в бета-версии) только что получил крупное обновление. Теперь он поддерживает материализации View, Table, Incremental и Ephemeral, чтобы помочь вам выполнять преобразования данных в реальном времени на Rockset. Подробнее читайте здесь..
Что почитать 📚
- Все говорят о следующем слое современной дата-стека. Это не новый разговор, но он начинает набирать обороты. Анна (директор сообщества dbt Labs) делает феноменальную работу, связывая события этой недели в последнем выпуске Analytics Engineering Roundup.
Что посмотреть 📺
-
Инфраструктура как код и современный опыт работы с данными
На конференции Future Data на прошлой неделе Тристан отметил, что рабочие процессы с данными заимствуют многое из инженерии программного обеспечения, но еще не пересекли пропасть DevOps. Чего не хватает? Таблиц? На самом деле... возможно. 😅 Ладно, вы должны были быть там. К счастью, вы все еще можете! Посмотрите запись.
-
Моделирование поведенческих данных с помощью Snowplow и dbt (запланировано на 27 октября). Наша Санжана Сен присоединяется к команде Snowplow, чтобы обсудить моделирование данных событий Snowplow в dbt — включая то, как структурировать ваши модели данных, какие лучшие практики соблюдать и каких ключевых ошибок избегать.
-
Как Blend устранил изолированные данные с помощью dbt и Hightouch. Финансово-технологический гигант Blend обрабатывает триллионы долларов в виде кредитов (и недавно вышел на IPO). Присоединяйтесь к этому выступлению с Уильямом Цу (операции по успеху клиентов в Blend), чтобы узнать, как внедрение dbt и Hightouch помогло им преодолеть изолированные данные и продолжать добиваться успеха.
На этом пока все! Спасибо за чтение, и, как всегда, дайте мне знать, если есть что-то еще, что вы хотите увидеть в этих обновлениях!
Лорен Крейги
Директор по маркетингу продукта, dbt Labs
Comments