Обновление dbt за август 2022: бета-версия v1.3, Программа технологических партнеров и Coalesce!
Семантический слой, поддержка моделей на Python, новый интерфейс dbt Cloud и IDE... наша команда с нетерпением ждет возможности поделиться с вами всем этим на Coalesce через несколько недель.
Но как все это сочетается — в связи с тем, куда движется dbt Labs — это то, о чем я больше всего хочу поговорить.
Вы услышите больше в ключевом выступлении Тристана, но сейчас самое время напомнить вам, что Coalesce — это не только ответы на сложные вопросы... это также возможность их поднять. Это возможность поделиться вызовами, которые мы испытывали в изоляции, найти людей, с которыми вы хотите их решить, и потратить оставшуюся часть года на их преодоление. Как говорит Тристан в своем последнем блоге, так эта индустрия движется вперед.
Что нового
- Бета-версия dbt Core v1.3: Используете Python для аналитики? Первая предварительная бета-версия dbt Core v1.3, включающая поддержку моделей dbt, написанных на Python, уже доступна для ознакомления! Попробуйте её и узнайте больше о поддерживаемых в dbt моделях на Python в нашей документации.
- Программа технологического партнёрства: Мы только что запустили нашу новую программу технологического партнёрства совместно с более чем 40 партнёрами из экосистемы Modern Data Stack, чтобы обеспечить стабильную поддержку бесшовных интеграций, на которые могут положиться наши общие пользователи. Посетите новую страницу интеграций dbt Cloud, чтобы узнать, что доступно уже сегодня!
- Пользователям выделенных сред (single-tenant): dbt Cloud v1.1.60 теперь доступен в dbt Cloud Enterprise.
Что улучшилось
- Интерфейс dbt Cloud: Новый интерфейс dbt Cloud находится в бета-версии и доступен для любого клиента dbt Cloud с несколькими арендаторами. Упрощенный интерфейс, улучшенная эргономика, меньше кликов до часто используемых экранов.
- IDE dbt Cloud: Вы заметили Staging в прошлом месяце (наше ежеквартальное обновление продукта)? IDE dbt Cloud был переработан для повышения скорости и производительности и теперь находится в бета-версии — запишитесь, чтобы проверить!
Новые ресурсы
Что попробовать 🛠️
- dbt_artifacts v1.2.0: Brooklyn Data Co только что выпустила значительную переработку пакета dbt_artifacts. Захватывайте все метаданные, сгенерированные dbt в конце вызова (узлы проекта, процент успешности, результаты тестов и т.д.), и сохраняйте их непосредственно в Snowflake, Databricks или BigQuery для немедленного анализа.
- Валидатор dbt YAML с использованием JSON схемы: Если вы разрабатываете в VS Code, этот репозиторий разблокирует автозаполнение и валидацию для YAML файлов dbt. Найдите те тесты, которые никогда не запускались из-за ошибки в отступах. Не то чтобы это когда-либо случалось с вами.
- dbt Exposures для Hightouch: Exposures в dbt позволяют быстро увидеть, как приложения, использующие данные, применяют ваши модели и источники dbt. Это не обязательно должны быть только дашборды в BI инструментах — теперь вы можете представлять свои синхронизации Hightouch как dbt exposures.
- Вы сертифицированный разработчик dbt? Мы недавно запустили нашу новую программу сертификации аналитических инженеров, и нам было бы интересно услышать ваше мнение. Нам особенно понравился этот отзыв от Чарльза Верлейена о том, чего ожидать и сколько опыта/подготовки он рекомендует.
Что почитать 📚
- Как применять правила в масштабе: Это лучшая практика — добавлять тесты моделей в dbt, но можно ли это требовать? В своем последнем блоге Бенуа Перигод (старший аналитический инженер dbt Labs) делится, как использовать пакет pre-commit-dbt для этого.
- Как мы сократили время выполнения модели на 90 минут: Узнайте, как мы использовали вкладку времени выполнения модели в dbt Cloud, чтобы найти и переработать нашу самую долгую модель.
- Как выбрать между хешированными или целочисленными суррогатными ключами: Дэйв Коннорс (старший аналитический инженер dbt Labs) разбирает плюсы и минусы каждого подхода в dbt.
- Как думать о моделях dbt на Python в Snowpark: Эда Джонсон написала хороший вводный материал о подходе к моделям dbt на Python в Snowflake с использованием Snowpark Python.
- dbt Labs официально сотрудничает с Monte Carlo: Партнерство упрощает для аналитических инженеров дополнение тестирования dbt сквозной наблюдаемостью.
- Как Comcast случайно изобрела хранилище признаков в 2013 году: Это действительно увлекательное чтение. Джош Берри описывает взлеты и падения быстро развивающейся команды по науке о данных, которая преодолела первоначальное отвращение к документации, чтобы создать "Розетту".
Уголок консультирования 🌎
Я только что обнаружила кладезь отличных ресурсов от консультантов-партнеров dbt Labs и хочу начать делиться ими здесь. Вот несколько, которые вы могли пропустить летом:
- Сократите затраты на ETL: Я только что увидела этот блог от Mighty Digital и нашла его очень практичным (и кратким) вводным руководством по переосмыслению вашего ETL конвейера с dbt.
- Исследуйте данные: Вторая часть серии об исследовании данных от Vivanti. Этот пост фокусируется на работе с JSON объектами в dbt, но я также рекомендую предыдущий пост, если вы хотите увидеть, как они развернули свой стек.
- Отслеживайте исторические изменения: Снимки — это довольно удобная функция для отслеживания изменений в dbt, но они часто упускаются из виду при первоначальном внедрении. Montreal Analytics объясняет, как их настроить в dev/prod средах.
- Изучите dbt: Есть новые лица в команде данных, которым может понадобиться введение в dbt? Наши друзья из GoDataDriven проводят виртуальное обучение dbt с 12 по 14 сентября.
Спасибо!
Этот выпуск новостей был подготовлен: Джоэлом, Глорией, Аззамом, Амосом и мной (Лорен)
