Обновление dbt за август 2022: бета-версия v1.3, Программа технологических партнеров и Coalesce!

Семантический слой, поддержка моделей на Python, новый интерфейс dbt Cloud и IDE... наша команда с нетерпением ждет возможности поделиться с вами всем этим на Coalesce через несколько недель.

Но как все это сочетается — в связи с тем, куда движется dbt Labs — это то, о чем я больше всего хочу поговорить.

Вы услышите больше в ключевом выступлении Тристана, но сейчас самое время напомнить вам, что Coalesce — это не только ответы на сложные вопросы... это также возможность их поднять. Это возможность поделиться вызовами, которые мы испытывали в изоляции, найти людей, с которыми вы хотите их решить, и потратить оставшуюся часть года на их преодоление. Как говорит Тристан в своем последнем блоге, так эта индустрия движется вперед.

ЗАРЕГИСТРИРУЙТЕСЬ СЕЙЧАС

Что нового

• dbt Core v1.3 beta: Используете Python для аналитики? Первая бета-версия dbt Core v1.3, включая поддержку моделей dbt, написанных на Python, готова к изучению! Ознакомьтесь с ней и прочитайте больше о поддерживаемых dbt моделях на Python в нашей документации.
• Программа технологических партнеров: Мы только что запустили нашу новую Программу технологических партнеров с более чем 40 друзьями в Modern Data Stack, чтобы обеспечить постоянную поддержку для бесшовных интеграций, которым могут доверять совместные пользователи. Ознакомьтесь с нашей новой страницей интеграций dbt Cloud, чтобы узнать, что доступно сегодня!
• Пользователи с одним арендатором: dbt Cloud v1.1.60 теперь доступен на dbt Cloud Enterprise.

Что улучшилось

• Интерфейс dbt Cloud: Новый интерфейс dbt Cloud находится в бета-версии и доступен для любого клиента dbt Cloud с несколькими арендаторами. Упрощенный интерфейс, улучшенная эргономика, меньше кликов до часто используемых экранов.
• IDE dbt Cloud: Вы заметили Staging в прошлом месяце (наше ежеквартальное обновление продукта)? IDE dbt Cloud был переработан для повышения скорости и производительности и теперь находится в бета-версии — запишитесь, чтобы проверить!

Новые ресурсы

Что попробовать 🛠️

• dbt_artifacts v1.2.0: Brooklyn Data Co только что выпустила значительную переработку пакета dbt_artifacts. Захватывайте все метаданные, сгенерированные dbt в конце вызова (узлы проекта, процент успешности, результаты тестов и т.д.), и сохраняйте их непосредственно в Snowflake, Databricks или BigQuery для немедленного анализа.
• Валидатор dbt YAML с использованием JSON схемы: Если вы разрабатываете в VS Code, этот репозиторий разблокирует автозаполнение и валидацию для YAML файлов dbt. Найдите те тесты, которые никогда не запускались из-за ошибки в отступах. Не то чтобы это когда-либо случалось с вами.
• dbt Exposures для Hightouch: Exposures в dbt позволяют быстро увидеть, как приложения, использующие данные, применяют ваши модели и источники dbt. Это не обязательно должны быть только дашборды в BI инструментах — теперь вы можете представлять свои синхронизации Hightouch как dbt exposures.
• Вы сертифицированный разработчик dbt? Мы недавно запустили нашу новую программу сертификации аналитических инженеров, и нам было бы интересно услышать ваше мнение. Нам особенно понравился этот отзыв от Чарльза Верлейена о том, чего ожидать и сколько опыта/подготовки он рекомендует.

Что почитать 📚

• Как применять правила в масштабе: Это лучшая практика — добавлять тесты моделей в dbt, но можно ли это требовать? В своем последнем блоге Бенуа Перигод (старший аналитический инженер dbt Labs) делится, как использовать пакет pre-commit-dbt для этого.
• Как мы сократили время выполнения модели на 90 минут: Узнайте, как мы использовали вкладку времени выполнения модели в dbt Cloud, чтобы найти и переработать нашу самую долгую модель.
• Как выбрать между хешированными или целочисленными суррогатными ключами: Дэйв Коннорс (старший аналитический инженер dbt Labs) разбирает плюсы и минусы каждого подхода в dbt.
• Как думать о моделях dbt на Python в Snowpark: Эда Джонсон написала хороший вводный материал о подходе к моделям dbt на Python в Snowflake с использованием Snowpark Python.
• dbt Labs официально сотрудничает с Monte Carlo: Партнерство упрощает для аналитических инженеров дополнение тестирования dbt сквозной наблюдаемостью.
• Как Comcast случайно изобрела хранилище признаков в 2013 году: Это действительно увлекательное чтение. Джош Берри описывает взлеты и падения быстро развивающейся команды по науке о данных, которая преодолела первоначальное отвращение к документации, чтобы создать "Розетту".

Уголок консультирования 🌎

Я только что обнаружила кладезь отличных ресурсов от консультантов-партнеров dbt Labs и хочу начать делиться ими здесь. Вот несколько, которые вы могли пропустить летом:

• Сократите затраты на ETL: Я только что увидела этот блог от Mighty Digital и нашла его очень практичным (и кратким) вводным руководством по переосмыслению вашего ETL конвейера с dbt.
• Исследуйте данные: Вторая часть серии об исследовании данных от Vivanti. Этот пост фокусируется на работе с объектами в dbt, но я также рекомендую предыдущий пост, если вы хотите увидеть, как они развернули свой стек.
• Отслеживайте исторические изменения: Снимки — это довольно удобная функция для отслеживания изменений в dbt, но они часто упускаются из виду при первоначальном внедрении. Montreal Analytics объясняет, как их настроить в dev/prod средах.
• Изучите dbt: Есть новые лица в команде данных, которым может понадобиться введение в dbt? Наши друзья из GoDataDriven проводят виртуальное обучение dbt с 12 по 14 сентября.

Спасибо!

Этот выпуск новостей был подготовлен: Джоэлом, Глорией, Аззамом, Амосом и мной (Лорен)