Перейти к основному содержимому

Примечания к выпускам платформы dbt за 2024 год

Примечания к выпускам dbt с описанием недавних и более ранних изменений. Примечания к выпускам относятся к одной из следующих категорий:

  • New: Новые продукты и возможности
  • Enhancement: Улучшения производительности и расширения функциональности
  • Fix: Исправления ошибок и уязвимостей безопасности
  • Behavior change: Изменения существующего поведения, которые не подпадают под другие категории, например, устаревание функций или изменения значений по умолчанию

Примечания к релизам сгруппированы по месяцам как для многоарендных (multi-tenant), так и для сред с виртуальным частным облаком (VPC)*

* Официальная дата выпуска этого нового формата примечаний к релизам — 15 мая 2024 года. Исторические примечания к релизам за более ранние даты могут не отражать все функции, выпущенные ранее в этом году, или их доступность в зависимости от типа развертывания.

Декабрь 2024​

  • New: Сохранённые запросы теперь поддерживают tags, которые позволяют категоризировать ресурсы и фильтровать их. Добавляйте теги к вашим saved queries в файле semantic_model.yml или dbt_project.yml. Например:

    dbt_project.yml
    saved-queries:
    jaffle_shop:
    customer_order_metrics:
    +tags: order_metrics
  • Новое: Измерения теперь поддерживают свойство конфигурации meta в канале выпусков dbt Cloud Latest и начиная с dbt Core 1.9. Вы можете добавлять метаданные к измерениям, чтобы предоставлять дополнительный контекст и информацию об измерении. Подробнее см. в разделе meta.

  • Новое: Зависимые экспозиции теперь общедоступны в тарифных планах dbt Enterprise. Зависимые экспозиции напрямую интегрируются с Tableau (поддержка Power BI появится в ближайшее время) и автоматически формируют граф зависимостей нижестоящих ресурсов в dbt Explorer, расширяя его возможности.

  • Новое: Semantic Layer поддерживает Sigma в качестве партнёрской интеграции, доступной в предварительной версии. Подробнее см. в документации Sigma.

  • Новое: Semantic Layer теперь поддерживает одноарендаторные развёртывания в Azure. Подробнее о начале работы см. в разделе Настройка Semantic Layer.

  • Исправление: Устранены периодически возникавшие проблемы в одноарендаторных средах, затрагивавшие Semantic Layer и историю запросов.

  • Исправление: dbt Semantic Layer теперь учитывает атрибут execution_project в BigQuery, в том числе при экспорте.

  • Новое: Уведомления о моделях теперь общедоступны в dbt. Эти уведомления оповещают владельцев моделей по электронной почте о любых проблемах с моделями и тестами сразу после их возникновения во время выполнения задания.

  • Новое: Теперь вы можете использовать свой ключ Azure OpenAI (доступно в бета-версии) для работы с такими функциями dbt, как . Кроме того, вы можете использовать собственный ключ OpenAI API или ключ OpenAI под управлением dbt Labs. Подробнее см. в разделе Интеграции с ИИ.

  • Новое: Параметр конфигурации hard_deletes предоставляет больше возможностей для управления обработкой строк, удалённых из источника. Поддерживаются значения ignore (по умолчанию), invalidate (заменяет устаревший параметр invalidate_hard_deletes=true) и new_record. Обратите внимание: при использовании new_record в таблице снимка будет создан новый столбец метаданных.

Ноябрь 2024​

  • Улучшение: Индикаторы состояния данных в dbt Explorer теперь доступны для экспозиций и позволяют быстро оценить состояние данных при просмотре ресурсов. Чтобы увидеть значки доверия к данным, перейдите в dbt Explorer и нажмите Exposures на вкладке Resource. Подробнее см. в разделе Индикаторы состояния данных для ресурсов.
  • Ошибка: Выявлена и исправлена ошибка в запросах Semantic Layer, выполнение которых занимает более 10 минут.
  • Исправление: При экспорте теперь учитываются переопределения переменных окружения задания, заданные в учётных данных. Ранее они игнорировались.
  • Изменение поведения: Если вы используете пользовательский макрос микропакетной обработки, установите флаг поведения require_batched_execution_for_custom_microbatch_strategy в файле dbt_project.yml, чтобы включить пакетное выполнение. Если у вас нет пользовательского макроса микропакетной обработки, устанавливать этот флаг не нужно: dbt автоматически выполняет микропакетную обработку для любой модели, использующей стратегию microbatch.
  • Улучшение: Пользователи, у которых включена функция сравнения изменений в Advanced CI, могут повысить производительность сравнений с помощью пользовательского синтаксиса dbt: настроить использование отложенного разрешения ссылок (deferral), исключить определённые крупные модели (или группы моделей с тегами) и многое другое. Примеры настройки команды сравнения см. в разделе Пользовательские команды сравнения изменений.
  • Новое: Проверка SQL в заданиях CI теперь общедоступна в dbt. Вы можете включить проверку SQL в своих заданиях CI с помощью SQLFluff, чтобы автоматически проверять все SQL-файлы проекта на отдельном шаге выполнения перед сборкой в задании CI. Проверка с помощью SQLFluff доступна в каналах обновлений dbt для учётных записей dbt с тарифом Team или Enterprise. Подробнее см. в разделе Проверка SQL.
  • Новое: Используйте настройку dbt_valid_to_current, чтобы задать собственное значение dbt_valid_to для актуальных записей снимка (например, дату в будущем). По умолчанию это значение равно NULL. Если настройка задана, dbt будет использовать указанное значение вместо NULL для dbt_valid_to в актуальных записях таблицы снимка. Эта функция доступна в канале обновлений dbt Cloud Latest (ранее называвшемся Versionless) и в dbt Core версии 1.9 и выше.
  • Новое: Используйте настройку event_time, чтобы указать, «в какой момент времени произошло событие, представленное строкой». Эта настройка обязательна для инкрементальной микропакетной обработки; её также можно добавить, чтобы обеспечить сравнение пересекающихся временных интервалов при сравнении изменений в Advanced CI. Доступна в канале обновлений dbt Cloud Latest (ранее называвшемся Versionless) и в dbt Core версии 1.9 и выше.
  • Исправление: Это обновление улучшает интеграцию Semantic Layer с Tableau, повышая надёжность разбора запросов. Основные исправления:
    • Сообщения об ошибках для неподдерживаемых соединений между сохранёнными запросами и таблицами ALL.
    • Улучшена обработка запросов при выборе нескольких таблиц в источнике данных.
    • Исправлена ошибка, возникавшая, когда фильтр IN содержал большое количество значений.
    • Улучшены сообщения об ошибках для запросов, которые невозможно корректно разобрать.
  • Улучшение: Semantic Layer поддерживает создание новых учётных данных для пользователей, у которых нет разрешения на создание сервисных токенов. На боковой панели Credentials & service tokens опция +Add Service Token недоступна пользователям без соответствующего разрешения. Вместо неё на боковой панели отображается сообщение о том, что у пользователя нет разрешения на создание сервисного токена и ему следует обратиться к администратору. Подробнее см. в разделе Настройка Semantic Layer.

Октябрь 2024​

 Анонсы Coalesce 2024

Документация по новым функциям и возможностям, анонсированным на Coalesce 2024:

  • Изменение поведения: Многофакторная аутентификация теперь обязательна для всех пользователей, которые входят в систему с именем пользователя и паролем.
  • Улучшение: JDBC-драйвер dbt Semantic Layer теперь позволяет использовать постраничную выдачу результатов semantic_layer.metrics() и semantic_layer.dimensions() для метрик и измерений с помощью параметров page_size и page_number. Подробнее см. в разделе Постраничная выдача при вызовах для получения метаданных.
  • Улучшение: JDBC-драйвер dbt Semantic Layer теперь позволяет фильтровать метрики, оставляя только те, которые содержат определённую подстроку, с помощью параметра search. Если подстрока не указана, запрос возвращает все метрики. Подробнее см. в разделе Получение метрик с помощью поиска по подстроке.
  • Исправление: Интеграция Semantic Layer с Excel теперь корректно отображает ошибки при сбое выполнения запроса. Ранее причина, по которой запрос не выполнялся, оставалась неясной.
  • Исправление: Ранее POST-запросы к Jobs API с недопустимыми строками cron возвращали код состояния HTTP 500, но при этом обновляли соответствующую сущность. Теперь POST-запросы к Jobs API с недопустимыми строками cron возвращают код состояния 400 без обновления соответствующей сущности.
  • Исправление: Исправлена проблема, из-за которой страница просмотра Source в dbt Explorer некорректно отображала статус свежести источника, если данные о свежести были старше 30 дней.
  • Исправление: Интерфейс теперь указывает, когда описание модели унаследовано из комментария в каталоге.
  • Изменение поведения: Пользовательские API-токены объявлены устаревшими. Если вы всё ещё используете их, перейдите на персональные токены доступа.
  • Новое: Cloud IDE поддерживает подписанные коммиты Git в тарифных планах Enterprise. Вы можете подписывать коммиты Git при отправке в репозиторий, чтобы предотвратить подмену авторства и повысить безопасность. Поддерживаемые провайдеры Git — GitHub и GitLab. Подробнее см. в разделе Подписание коммитов Git.
  • Новое: С Mesh теперь можно включать двунаправленные зависимости между проектами. Ранее dbt допускал зависимости только в одном направлении. dbt проверяет наличие циклов между проектами и выдаёт ошибки при их обнаружении. Подробнее см. в разделе Обнаружение циклов. Также доступно руководство Введение в Mesh, которое поможет вам узнать больше о рекомендуемых подходах.
  • Новое: Комплект средств разработки на Python для Semantic Layer теперь общедоступен. Он предоставляет пользователям удобный доступ к Semantic Layer из Python и позволяет разработчикам взаимодействовать с API Semantic Layer для запроса метрик и измерений в нижестоящих инструментах.
  • Улучшение: Теперь можно добавлять описание к отдельному тесту данных (singular data test). Используйте свойство description для документирования отдельных тестов данных. Для хранения описания теста также можно использовать блок docs. Улучшение уже доступно в канале выпусков Latest в dbt Cloud и будет включено в dbt Core v1.9.
  • Новое: Представляем стратегию микропакетной обработки для инкрементальных моделей (бета-версия), которая уже доступна в dbt Cloud Latest и вскоре будет поддерживаться в dbt Core v1.9. Эта стратегия позволяет эффективно обрабатывать большие наборы данных временных рядов пакетами, повышая производительность и устойчивость к сбоям, особенно при работе с данными, которые меняются со временем (например, когда новые записи добавляются ежедневно). Чтобы включить эту возможность в dbt Cloud, задайте переменной окружения DBT_EXPERIMENTAL_MICROBATCH значение true в своём проекте.
  • Новое: dbt Semantic Layer поддерживает конфигурации настраиваемого календаря в MetricFlow; эта возможность доступна в статусе Preview. Конфигурации настраиваемого календаря позволяют запрашивать данные с использованием нестандартных временных периодов, таких как fiscal_year или retail_month. О том, как определить эти пользовательские уровни временной детализации в YAML-конфигурации временной шкалы MetricFlow, см. в разделе Настраиваемый календарь.
  • Новое: В канале выпусков Latest в dbt снимки обновлены: теперь они используют файлы конфигурации YAML вместо SQL-блоков снимков. Эта новая возможность упрощает управление снимками и повышает производительность; вскоре она также появится в dbt v1 версии 1.9.
    • Кого это затрагивает? Пользователи канала выпусков Latest в dbt могут определять снимки с помощью новой спецификации YAML. Пользователи, переходящие на Latest и уже имеющие определения снимков, могут сохранить существующие конфигурации или перенести определения снимков в YAML.
    • Пользователи более ранних версий: никаких действий не требуется; существующие снимки продолжат работать как прежде. Однако мы рекомендуем перейти на канал выпусков Latest, чтобы воспользоваться новыми возможностями снимков.
  • Изменение поведения: Задайте state_modified_compare_more_unrendered_values значение true, чтобы сократить число ложных срабатываний state:modified, когда конфигурации различаются между окружениями dev и prod.
  • Изменение поведения: Задайте флагу skip_nodes_if_on_run_start_fails значение True, чтобы пропускать выполнение всех выбранных ресурсов при сбое хука on-run-start.
  • Улучшение: В канале выпусков Latest в dbt Cloud снимки, определённые в SQL-файлах, теперь могут использовать config, заданный в YAML-файлах schema.yml. Это обновление устраняет прежнее ограничение, из-за которого свойства снимков требовалось определять исключительно в dbt_project.yml и/или в блоке config() внутри SQL-файла. Это улучшение также войдёт в dbt Core 1.9.
  • Новое: В канале выпусков Latest в dbt Cloud конфигурация snapshot_meta_column_names позволяет настраивать имена столбцов метаданных снимков. Эта возможность позволяет организации привести автоматически создаваемые имена столбцов в соответствие со своими соглашениями и будет включена в предстоящий выпуск dbt Core 1.9.
  • Улучшение: В канале выпусков Latest в dbt Cloud primary_key модели определяется на основе настроенных тестов данных и/или ограничений в manifest.json. Определённый таким образом primary_key отображается в dbt Explorer и используется функцией сравнения изменений в dbt Cloud. Это улучшение также войдёт в dbt Core 1.9. Ознакомьтесь с порядком, в котором dbt определяет, какие столбцы могут использоваться в качестве первичного ключа модели.
  • Новое: В dbt Explorer теперь есть значки индикаторов доверия, доступные в статусе Preview. Индикаторы доверия позволяют быстро оценить состояние данных при просмотре моделей dbt в dbt Explorer. Эти значки показывают, находится ли модель в состоянии Healthy (исправна), Caution (требует внимания), Degraded (ухудшенное состояние) или Unknown (неизвестно). Для получения достоверных данных о состоянии убедитесь, что ресурс актуален и для него недавно выполнялось задание. Подробнее см. в разделе Индикаторы состояния данных.
  • Новое: Нижестоящие зависимости (exposures) теперь доступны в статусе Preview в dbt. Эта возможность помогает пользователям понять, как их модели используются в нижестоящих аналитических инструментах, чтобы обоснованно распределять ресурсы и сокращать число инцидентов. Она импортирует и автоматически создаёт exposures на основе дашбордов Tableau с возможностью отбора и настройки пользователем. Подробнее см. в разделе Нижестоящие зависимости (exposures).

Сентябрь 2024​

  • Исправление: В MetricFlow метод get_and_expire обновлён: неподдерживаемая команда GETEX заменена на GET с условной установкой срока действия, что обеспечивает совместимость с Azure Redis 6.0.
  • Улучшение: Python SDK для dbt Semantic Layer теперь поддерживает пользовательскую временную детализацию TimeGranularity для метрик. Эта возможность позволяет определять для метрик пользовательские уровни временной детализации, например fiscal_year или retail_month, чтобы запрашивать данные за нестандартные временные периоды.
  • Новое: Используйте ИИ-движок для создания семантических моделей на основе ваших моделей — эта возможность теперь доступна в бета-версии. автоматически создаёт документацию, тесты, а теперь и семантические модели на основе данных вашей модели. Подробнее см. в разделе .
  • Новое: Используйте новый рекомендуемый синтаксис для определения ограничений foreign_key с помощью refs, доступный в канале выпусков Latest в dbt Cloud. Вскоре он также появится в dbt Core v1.9. Этот новый синтаксис позволяет учитывать зависимости и работает в разных средах.
  • Улучшение: Теперь вы можете выполнять команды Semantic Layer в dbt Cloud IDE. Поддерживаются команды dbt sl list, dbt sl list metrics, dbt sl list dimension-values, dbt sl list saved-queries, dbt sl query, dbt sl list dimensions, dbt sl list entities и dbt sl validate.
  • Новое: Интеграция Semantic Layer с Microsoft Excel теперь общедоступна. Она позволяет подключаться к Microsoft Excel для запроса метрик и совместной работы с командой. Доступна для Excel Desktop и Excel Online. Подробнее см. в разделе Microsoft Excel.
  • Новое: Плитка состояния данных теперь общедоступна в dbt Explorer. Плитки состояния данных позволяют быстро оценить качество данных и выявить потенциальные проблемы. Вы можете встраивать эти плитки в свои дашборды, чтобы оперативно обнаруживать и устранять проблемы с качеством данных в вашем проекте dbt.
  • Новое: Функция истории запросов к модели в dbt Explorer теперь доступна в предварительной версии для клиентов dbt Enterprise. История запросов к модели позволяет просматривать количество запросов, использующих модель, на основе журналов запросов хранилища данных. Эта функция предоставляет командам по работе с данными информацию, которая помогает сосредоточить время и затраты на инфраструктуру на ценных и востребованных продуктах данных. Подробнее см. в разделе История запросов к модели.
  • Улучшение: Теперь при подключении к Semantic Layer можно использовать расширенные атрибуты и переменные среды. Если задать значение непосредственно в учётных данных Semantic Layer, оно будет иметь более высокий приоритет, чем расширенные атрибуты. При использовании переменных среды будет применяться значение по умолчанию для этой среды. Если вы используете экспорт, переопределения переменных среды на уровне задания пока не поддерживаются, но скоро будут доступны.
  • Новое: Добавлены два новых значения по умолчанию для переменных среды — DBT_CLOUD_ENVIRONMENT_NAME и DBT_CLOUD_ENVIRONMENT_TYPE.
  • Новое: Подключение к хранилищу Amazon Athena доступно в публичной предварительной версии для аккаунтов dbt, перешедших на канал выпусков Latest.

Август 2024​

  • Исправление: Исправлена ошибка в dbt Explorer, из-за которой при переходе от публичного узла к проекту-потребителю отображалась случайная публичная модель вместо изначально выбранной.
  • Новое: Теперь можно настраивать метрики с более детальной временной гранулярностью: по часам, минутам и даже секундам. Это особенно полезно для более подробного анализа и наборов данных, требующих высокой точности временных данных, например для поминутного отслеживания событий. Подробнее о временной гранулярности см. в разделе Измерения.
  • Улучшение: Microsoft Excel теперь поддерживает сохранённые наборы выбранных параметров и сохранённые запросы. Используйте Saved selections, чтобы сохранять выбранные параметры запроса в приложении Excel. Приложение также по умолчанию очищает устаревшие данные в строках после результатов запроса. Чтобы получить результаты и сохранить ранее выбранные данные без изменений, снимите флажок Clear trailing rows.
  • Изменение поведения: GitHub больше не поддерживается для входа в dbt через OAuth. Используйте поддерживаемого провайдера SSO или OAuth для безопасного управления доступом к вашей учётной записи dbt.

Июль 2024​

  • Изменение поведения: target_schema больше не является обязательным параметром конфигурации для снимков. Теперь с помощью параметра schema можно задавать разные целевые схемы для снимков в средах разработки и развёртывания.

  • Новое: Подключения теперь доступны в разделе Account settings как глобальная настройка. Ранее они находились в разделе Project settings. Это изменение будет внедряться поэтапно в течение ближайших недель.

  • Новое: Администраторы теперь могут назначать группам разрешения на уровне среды для определённых ролей.

  • Новое: Задания слияния для реализации рабочих процессов непрерывного развёртывания (CD) теперь общедоступны (GA) в dbt. Ранее требовалось либо настраивать собственный GitHub action, либо вручную запускать сборку изменений после каждого слияния pull request.

  • Новое: Теперь доступна проверка SQL-файлов линтером из dbt CLI. Подробнее см. в разделе Проверка SQL-файлов линтером.

  • Изменение поведения: dbt Cloud IDE автоматически добавляет --limit 100 к запросам предварительного просмотра, чтобы избежать медленных и дорогостоящих запросов во время разработки. Недавно в dbt Core изменился способ применения limit, чтобы гарантировать соблюдение условий order by. Из-за этого запросы, уже содержащие условие limit, теперь могут вызывать ошибки при предварительном просмотре в IDE. Чтобы решить эту проблему, dbt Labs планирует вскоре добавить возможность отключать автоматическое применение ограничения. До тех пор dbt Labs рекомендует удалять дублирующее условие limit из запросов при предварительном просмотре, чтобы избежать этих ошибок IDE.

  • Улучшение: Представлена обновлённая страница обзора dbt Explorer, доступная в beta. Она включает новый дизайн и компоновку главной страницы dbt Explorer, а также новый раздел Latest updates для просмотра последних изменений или проблем, связанных с ресурсами проекта. Подробнее см. Overview page.

Семантический слой dbt​

  • Новое: Представлена Python-библиотека dbt-sl-sdk — комплект средств разработки (SDK), которая упрощает доступ к семантическому слою dbt из Python. Она позволяет разработчикам взаимодействовать с API семантического слоя dbt и запрашивать метрики и измерения в инструментах, использующих эти данные. Подробнее см. в разделе Python SDK для семантического слоя dbt.
  • Новое: Представлены семантические проверки в конвейерах CI. Автоматически тестируйте семантические узлы (метрики, семантические модели и сохранённые запросы) при проверке кода, добавив в задание CI проверки с обращением к хранилищу данных с помощью команды dbt sl validate. Вы также можете проверять изменённые семантические узлы, чтобы убедиться, что изменения кода моделей dbt не нарушают работу этих метрик. Дополнительные команды и сценарии использования описаны в разделе Семантические проверки в CI.
  • Новое: Поле meta из свойства конфигурации для метрик семантического слоя dbt теперь доступно в API JDBC и GraphQL в поле meta.
  • Новое: В dbt CLI добавлена новая команда export-all, которая позволяет экспортировать несколько или все сохранённые запросы. Ранее требовалось явно указывать список сохранённых запросов.
  • Улучшение: Semantic Layer теперь обеспечивает более детальное управление благодаря поддержке нескольких наборов учётных данных платформы данных, которые могут соответствовать разным ролям или служебным учётным записям. В тарифных планах dbt Enterprise можно сопоставлять учётные данные со служебными токенами для безопасной аутентификации. Подробнее см. в разделе Настройка Semantic Layer.
  • Исправление: Исправлена ошибка, из-за которой фильтры запросов с символами Unicode (например, китайскими иероглифами) некорректно работали в интеграции Semantic Layer с Tableau.
  • Исправление: Исправлена ошибка разбора некоторых закрытых ключей для BigQuery при выполнении экспорта.
  • Исправление: Исправлена ошибка, из-за которой при выполнении запроса или экспорта возвращалась ошибка «closed connection».
  • Исправление: Исправлена проблема в dbt v1, из-за которой при частичном разборе ошибочно удалялись все сгенерированные метрики в файле, а не только метрики, связанные с изменённой семантической моделью. Теперь затрагиваются только метрики, связанные с изменённой моделью.

Июнь 2024​

  • Новое: В MetricFlow появилась поддержка новых уровней детализации накопительных метрик. Такие метрики нельзя просто суммировать по периодам, поэтому для изменения детализации date_trunc не подходит.

    Вместо этого MetricFlow агрегирует значения за запрошенный период с помощью first(), last() и avg(). По умолчанию используется первое значение периода. Это можно изменить с помощью параметра period_agg. Подробнее см. в разделе Уровни детализации накопительных метрик.

Семантический слой dbt​

  • Новое: В MetricFlow добавлена поддержка SQL-оптимизации Predicate pushdown. Теперь фильтры по категориальным измерениям будут применяться непосредственно к исходной таблице метрики. Ранее фильтры применялись после выборки из исходной таблицы метрики. Это изменение помогает сократить количество полных сканирований таблиц в некоторых движках выполнения запросов.
  • Новое: Фильтры where по измерениям (включённые в сохранённые запросы) теперь могут использовать кеш при выполнении запросов. Это означает, что теперь вы можете динамически фильтровать данные на дашбордах, не теряя преимуществ кеширования в производительности. Подробнее см. в разделе Кеширование.
  • Улучшение: В Google Sheets для метрик и измерений в меню Query Builder добавлены значки информации и описания. Нажмите кнопку со значком Info, чтобы просмотреть описание метрики или измерения. Эта возможность доступна в следующих разделах меню Query Builder: metric, group by, where, saved selections и saved queries.
  • Улучшение: В Google Sheets теперь можно задавать детализацию для всех временных измерений, а не только для времени метрики. Это обновление использует наши API, чтобы поддерживать выбор детализации для любого выбранного временного измерения.
  • Улучшение: Предупреждения MetricFlow о временных шкалах (time spine) теперь предлагают пользователям настроить отсутствующие временные шкалы или шкалы с мелкой детализацией. Если для одного уровня детализации задано несколько временных шкал, отображается сообщение об ошибке.
  • Улучшение: Теперь отображается ошибка, если не настроена временная шкала с запрошенным или более мелким уровнем детализации.
  • Улучшение: Улучшено сообщение об ошибке при выполнении запроса, если учётные данные для семантического слоя не заданы.
  • Улучшение: Теперь при запросе доступных уровней детализации для накопительных метрик возвращается несколько вариантов (день, неделя, месяц, квартал, год), как и для всех остальных типов метрик. Ранее для накопительных метрик можно было запрашивать данные только с одним уровнем детализации.
  • Исправление: Устранены ошибки, препятствовавшие выполнению запросов к накопительным метрикам с другими уровнями детализации.
  • Исправление: Исправлены различные ошибки Tableau, возникавшие при запросе определённых метрик или использовании вычисляемых полей.
  • Исправление: В Tableau смягчены требования к именованию полей, чтобы улучшить распознавание вычисляемых полей.
  • Исправление: Исправлена ошибка при обновлении метаданных базы данных для столбцов, которые невозможно преобразовать в Arrow. Теперь эти столбцы будут пропускаться. В основном эта проблема затрагивала пользователей Redshift с пользовательскими типами данных.
  • Исправление: Исправлены подключения Private Link для Databricks.

Также доступно в этом месяце​

  • Улучшение: Теперь доступны обновления интерфейса создания заданий слияния. Они включают улучшенные поясняющие тексты, новые настройки отложенного разрешения ссылок (deferral) и повышение производительности.
  • Новое: Semantic Layer теперь поддерживает бесшовную интеграцию с Microsoft Excel, доступную в режиме предварительного ознакомления. Создавайте запросы к семантическому слою и получайте данные метрик прямо в Excel через специальное меню. Чтобы узнать больше и установить надстройку, ознакомьтесь с разделом Microsoft Excel.
  • Новое: Предупреждения о заданиях теперь общедоступны (GA). Ранее вы могли получать уведомления по электронной почте или в Slack об успешном выполнении, сбое или отмене заданий. Теперь благодаря новой опции Warns вы также можете получать уведомления, если во время выполнения заданий возникли предупреждения от тестов или проверок актуальности источников. Это дает больше гибкости в выборе того, когда получать уведомления.
  • Новое: Теперь доступна предварительная версия приложения dbt Snowflake Native App. С помощью этого приложения вы можете использовать dbt Explorer, чат-бот Ask dbt и функции наблюдаемости оркестрации, расширяя возможности работы с dbt в интерфейсе Snowflake.

Май 2024​

  • Улучшение: В IDE появилась новая кнопка Git Prune branches. Эта кнопка позволяет удалять локальные ветки, которые уже удалены из удалённого репозитория, помогая поддерживать порядок в ветках. Теперь она доступна во всех регионах, а для аккаунтов с выделенной инфраструктурой (single tenant) станет доступна в следующем цикле выпуска.

Мероприятие dbt Cloud Launch Showcase​

Следующие возможности появились или были улучшены в рамках нашего мероприятия dbt Launch Showcase, состоявшегося 14 мая 2024 года:

  • Новое: — мощный ИИ-движок, который помогает создавать документацию, тесты и семантические модели, экономя ваше время при подготовке высококачественных данных. Доступен в IDE в рамках закрытого бета-тестирования для части пользователей dbt Enterprise. Зарегистрируйте свой интерес, чтобы присоединиться к закрытому бета-тестированию.

  • Новое: Новый low-code-редактор, который сейчас находится на этапе закрытого бета-тестирования, позволяет аналитикам с небольшим опытом работы с SQL создавать и редактировать модели dbt в визуальном интерфейсе внутри dbt с помощью перетаскивания элементов. Эти модели компилируются непосредственно в SQL и ничем не отличаются от других моделей dbt в ваших проектах: они находятся под контролем версий, доступны из других проектов в Mesh и интегрируются с dbt Explorer и Cloud IDE. Зарегистрируйте свой интерес, чтобы присоединиться к закрытому бета-тестированию.

  • Новое: dbt CLI теперь общедоступен (GA) для всех пользователей. dbt CLI — это интерфейс командной строки, который позволяет взаимодействовать с dbt, использовать автоматическое делегирование (deferral), задействовать Mesh и многое другое!

  • Новое: Модульные тесты теперь общедоступны (GA) в dbt. Модульные тесты позволяют проверять SQL-логику ваших моделей на наборе статических входных данных.

  •  Новое: встроенная поддержка Azure Synapse AnalyticsПредварительная версия

    Встроенная поддержка Azure Synapse Analytics в dbt Cloud теперь доступна в режиме предварительного доступа!

    Подробнее см. в разделах Подключение Azure Synapse Analytics и Конфигурации Microsoft Azure Synapse DWH.

    Также ознакомьтесь с Quickstart for dbt Cloud and Azure Synapse Analytics. Руководство проведет вас через следующие шаги:

    • Загрузка примерных данных Jaffle Shop (предоставленных dbt Labs) в Azure Synapse Analytics.
    • Подключение dbt Cloud к Azure Synapse Analytics.
    • Преобразование примерного запроса в модель в вашем dbt-проекте. Модель в dbt — это SELECT-выражение.
    • Добавление тестов к моделям.
    • Документирование моделей.
    • Планирование задания на выполнение.
  • Новое: MetricFlow теперь позволяет добавлять метрики в качестве измерений (dimensions) в фильтры метрик для создания более сложных метрик и получения большего количества инсайтов. Доступно для всех пользователей Semantic Layer.

  • Новое: Промежуточная среда теперь общедоступна (GA). Используйте промежуточные среды, чтобы предоставлять разработчикам доступ к рабочим процессам и инструментам развертывания, контролируя при этом доступ к производственным данным. Доступно всем пользователям dbt.

  • Новое: Поддержка входа по OAuth через Databricks теперь общедоступна (GA) для клиентов с тарифным планом Enterprise.

  •  Новое: общедоступные функции dbt Explorer

    Текущие возможности dbt Explorer — включая lineage на уровне колонок, анализ производительности моделей и рекомендации по проекту — теперь доступны в статусе GA для планов dbt Cloud Enterprise и Teams. Explorer позволяет проще навигировать по проекту dbt Cloud (модели, источники и их колонки), чтобы лучше понимать его актуальное состояние в production или staging.

    Подробнее о возможностях:

  • Новое: Встроенная поддержка Microsoft Fabric в dbt теперь общедоступна (GA). Эта возможность реализована с помощью адаптера dbt-fabric. Подробнее см. в разделах Подключение Microsoft Fabric и Конфигурации Microsoft Fabric DWH. Также доступно руководство по быстрому старту, которое поможет вам начать работу.

  • Новое: Mesh теперь общедоступен (GA) для пользователей dbt с тарифным планом Enterprise. Mesh — это подход, который помогает организациям эффективно масштабировать свои команды и ресурсы данных. Он способствует внедрению лучших практик управления и позволяет разделять крупные проекты на части, которыми проще управлять. Чтобы начать работу с Mesh, прочитайте руководство по быстрому старту с Mesh.

  • Новое: Интеграции Semantic Layer с Tableau Desktop, Tableau Server и Google Sheets теперь общедоступны (GA) для учетных записей dbt с тарифными планами Team или Enterprise. Эти полнофункциональные интеграции позволяют выполнять запросы и получать ценные аналитические сведения из вашей экосистемы данных.

  • Улучшение: В рамках нашей постоянной работы над улучшением IDE в файловую систему внесены изменения для ускорения разработки в dbt, в том числе введено ограничение размера репозитория Git в 10 ГБ.

Также доступно в этом месяце:​

  • Обновление: CLI dbt теперь доступен для одноарендных развертываний в Azure, а также во всех регионах развертывания как для многоарендных, так и для одноарендных учетных записей.

  • Новинка: В Semantic Layer появилось декларативное кэширование, позволяющее кэшировать часто используемые запросы для повышения производительности и снижения затрат на вычисления при выполнении запросов. Доступно для учетных записей dbt с тарифным планом Team или Enterprise.

  •  Новое: канал выпусков Latest

    Канал выпусков Latest теперь общедоступен. Ранее он был доступен в режиме публичного предварительного доступа.

    На этом релизном треке вы получаете автоматические обновления dbt, включая ранний доступ к новым функциям, исправлениям и улучшениям производительности для вашего dbt-проекта. dbt Labs выполняет обновления «за кулисами» в рамках тестирования и повторного деплоя приложения dbt Cloud — так же, как и другие возможности dbt Cloud и SaaS-инструменты, которыми вы пользуетесь. Больше никаких ручных обновлений и никакой необходимости в отдельном sandbox-проекте только для тестирования новых функций.

    Чтобы узнать больше о новой настройке, обратитесь к разделу Каналы обновлений.

    Пример выбора канала выпусков LatestПример выбора канала выпусков Latest
  • Изменение поведения: Добавлен флаг require_resource_names_without_spaces, который включается явно и по умолчанию отключён. Если установить его в True, dbt вызовет исключение, если обнаружит имя ресурса, содержащее пробел, в вашем проекте или установленном пакете. В одной из будущих версий dbt такое поведение станет стандартным. Подробнее см. в разделе Запрет пробелов в именах ресурсов.

Апрель 2024​

  •  Новое: задания слиянияБета-версия

    Теперь вы можете нативно настраивать workflow непрерывного деплоя (CD) для своих проектов в dbt Cloud. Доступен beta-релиз Merge jobs — нового типа заданий, который позволяет запускать dbt-задания сразу после слияния изменений (через Git pull requests) в production.

    Пример создания задания слиянияПример создания задания слияния
  • Изменение поведения: Добавлен флаг require_explicit_package_overrides_for_builtin_materializations, который включается по желанию и по умолчанию отключён. Если установлено значение True, dbt будет использовать только встроенные материализации, определённые в корневом проекте или в самом dbt, а не реализации из пакетов. Это поведение станет поведением по умолчанию в мае 2024 года (в dbt Core v1.8 и каналах выпуска dbt Cloud). Подробнее см. в разделе Переопределение встроенной материализации в пакете.

Semantic Layer

  • Новое: Используйте сохранённые наборы параметров (Saved selections), чтобы сохранять выбранные параметры запросов в приложении Google Sheets. Их можно сделать приватными или общедоступными; они обновляются при загрузке.
  • Новое: Метрики теперь отображаются по своим меткам как metric_name.
  • Улучшение: Метрики теперь поддерживают параметр meta в свойстве config. Ранее поддерживался только тег meta, который теперь объявлен устаревшим.
  • Улучшение: В приложении Google Sheets добавлена поддержка непосредственного использования сохранённых запросов, определённых в MetricFlow, в качестве отправной точки для работы или для исследования данных.
  • Улучшение: В приложении Google Sheets добавлена поддержка запросов измерений без метрик. Ранее требовалось указать измерение.
  • Улучшение: В приложении Google Sheets добавлена поддержка предустановленных временных периодов и сложных фильтров временного диапазона, таких как «между», «после» и «до».
  • Улучшение: В приложении Google Sheets добавлена поддержка автоматического заполнения значений измерений при выборе фильтра «where», что избавляет от необходимости вводить их вручную. Ранее значения измерений требовалось вводить вручную.
  • Улучшение: В приложении Google Sheets добавлена поддержка прямых запросов к сущностям, что повышает гибкость запросов данных.
  • Улучшение: В приложении Google Sheets добавлена возможность исключать заголовки столбцов, что удобно для заполнения шаблонов только необходимыми данными.
  • Устаревшая функциональность: В интеграции с Tableau источник данных METRICS_AND_DIMENSIONS объявлен устаревшим для всех учётных записей, которые не используют его активно. Рекомендуем пользователям переходить на источник данных «ALL» для будущих интеграций.

Март 2024​

  • Новое: Сервисы Semantic Layer теперь поддерживают использование Privatelink для клиентов, у которых он включён.
  • Новое: Теперь вы можете разрабатывать и тестировать свой Semantic Layer в dbt CLI, если ваши учётные данные пользователя используют SSO.
  • Улучшение: Теперь можно выбирать сущности для группировки (Group By), фильтрации (Filter By) и сортировки (Order By).
  • Исправление: dbt parse больше не выдаёт ошибку при использовании списка фильтров (вместо одного строкового фильтра) для метрики.
  • Исправление: join_to_timespine теперь корректно применяется к входным мерам метрик конверсии.
  • Исправление: Исправлена проблема, из-за которой операции экспорта в Redshift не всегда фиксировались в хранилище данных (DWH), что также приводило к сохранению блокировок таблиц.
  • Изменение поведения: Добавлен флаг source_freshness_run_project_hooks, который по умолчанию отключён и требует явного включения. Если установить для него значение True, dbt будет выполнять хуки проекта on-run-* при запуске команды source freshness. В одной из будущих версий dbt это поведение станет поведением по умолчанию. Подробнее см. в разделе Хуки проекта при проверке актуальности источников.

Февраль 2024​

  • Новое: Экспорты позволяют материализовать сохранённый запрос в виде таблицы или представления на вашей платформе данных. Используя экспорты, вы можете унифицировать определения метрик на своей платформе данных и запрашивать их так же, как любую другую таблицу или представление.

  • Новое: Вы можете получить список своих экспортов с помощью новой команды list saved-queries, добавив --show-exports

  • Новое: Semantic Layer и коннектор Tableau теперь поддерживают фильтры относительных дат в Tableau.

  •  Новое: экспорт сохранённых запросов

    Теперь можно экспортировать результаты запросов к проверенным метрикам семантического слоя dbt, чтобы быстрее готовить отчёты. Экспорт позволяет записывать результаты часто используемых сохранённых запросов прямо на платформу данных по расписанию заданий dbt Cloud.

    Экспорт сохраняет метрики и измерения в таблицы, доступные инструментам без встроенной поддержки семантического слоя, например Power BI.

    Экспорт доступен в мультитенантном dbt Cloud на тарифах Team или Enterprise с dbt 1.7 и новее. Подробнее см. анонс экспорта.

    Добавление переменной окружения для экспорта в производственном заданииДобавление переменной окружения для экспорта в производственном задании
  •  Новое: запуск после завершения заданияteamenterprise

    Для планов dbt Cloud Team и Enterprise теперь доступна возможность запускать deploy jobs после завершения других deploy jobs. Вы можете включить эту функцию в UI с помощью опции Run when another job finishes в разделе Triggers вашего задания или через Create Job API endpoint.

    После включения задание будет запускаться после завершения указанного upstream-задания. Вы можете настроить, какие статусы выполнения будут триггерить запуск — только Success или все статусы. Если между вашими dbt-проектами есть зависимости, это позволяет нативно оркестрировать задания внутри dbt Cloud — без необходимости настраивать сторонние инструменты.

  •  Новое: трек релизов LatestБета-версия

    Теперь доступно в выпадающем списке версий dbt в dbt Cloud — начиная с отдельных клиентов и с постепенным расширением доступности в феврале и марте.

    На этом релизном треке вы получаете автоматические обновления dbt, включая ранний доступ к новым функциям, исправлениям и улучшениям производительности для вашего dbt-проекта. dbt Labs выполняет обновления «за кулисами» в рамках тестирования и повторного деплоя приложения dbt Cloud — так же, как и другие возможности dbt Cloud и используемые вами SaaS-инструменты. Больше никаких ручных обновлений и никакой необходимости в отдельном sandbox-проекте для тестирования новых функций.

    Подробнее о новой настройке см. в разделе Каналы выпуска.

    Пример выбора канала выпусков LatestПример выбора канала выпусков Latest
  •  Новое: выбор версии dbt в настройках разработки пользователя

    Теперь вы можете переопределить версию dbt, настроенную для среды разработки в вашем проекте, и использовать другую версию — это изменение затронет только вашу учетную запись. Это позволяет тестировать новые возможности dbt, не влияя на работу других участников того же проекта. Когда результаты тестирования вас устроят, вы сможете безопасно обновить версию dbt для своего проекта или проектов.

    Используйте выпадающий список dbt version, чтобы указать версию для переопределения. Он доступен на странице credentials проекта в разделе User development settings. Например:

    Пример переопределения версии dbt в настройках пользователяПример переопределения версии dbt в настройках пользователя
  •  Улучшение: редактирование в основной ветке Git в IDE

    Теперь вы можете редактировать, форматировать файлы и проверять их линтером, а также выполнять команды dbt непосредственно в основной ветке git в dbt Cloud IDE. Это улучшение доступно для различных репозиториев, включая репозитории с нативной интеграцией, репозитории, импортированные по URL git, и управляемые репозитории.

    В настоящее время улучшение доступно во всех multi-tenant регионах dbt Cloud и вскоре станет доступно для single-tenant аккаунтов.

    Ранее основная ветка подключенного git-репозитория была только для чтения в IDE. Это обновление переводит ветку в состояние protected и разрешает прямое редактирование. При создании коммита dbt Cloud предложит создать новую ветку. Имя новой ветки будет автоматически заполнено как GIT_USERNAME-patch-#, однако вы можете изменить его на собственное.

    Ранее основная ветка отображалась как read-only, теперь же она помечена иконкой замка, обозначающей protected-статус:

    Прежний интерфейс режима только для чтенияПрежний интерфейс режима только для чтения
    Новый интерфейс защищённого режимаНовый интерфейс защищённого режима

    Когда вы создаете коммит, находясь в основной ветке, открывается модальное окно с предложением создать новую ветку и ввести сообщение коммита:

    Create new branch windowCreate new branch window
  • Улучшение: Интеграция с Google Sheets для Semantic Layer теперь отображает примечание в ячейке, из которой были запрошены данные, делая запросы данных более понятными. В интеграции также появился новый параметр Time Range, который позволяет быстро выбирать диапазоны дат.

  • Улучшение: GraphQL API включает параметр requiresMetricTime для более эффективной обработки метрик, которые необходимо группировать по времени. (Некоторые метрики, определённые в MetricFlow, нельзя просматривать без временного измерения).

  • Улучшение: Добавлена возможность запрашивать метрики со смещением и накопительные метрики с использованием имени временного измерения вместо metric_time. Задача #1000

    • Добавлена возможность запрашивать metric_time без метрик. Задача #928
  • Улучшение: Добавлена поддержка согласованной генерации SQL-запросов, обеспечивающая согласованность генерируемых идентификаторов для идентичных во всём остальном запросов MF. Ранее SQL, генерируемый MetricFlowEngine, не был полностью согласованным для идентичных запросов. Задача 1020

  • Исправление: Коннектор Tableau возвращает фильтр по дате при фильтрации по датам. Ранее он ошибочно возвращал фильтр по временной метке.

  • Исправление: MetricFlow теперь проверяет наличие элементов metrics, group by или saved_query в каждом запросе. Ранее такая проверка не выполнялась. Задача 1002

  • Исправление: К мерам, использующим join_to_timespine в MetricFlow, теперь корректно применяются фильтры после соединения с временной шкалой.

  • Исправление: Запросы с несколькими уровнями детализации для метрик со смещением:

    • Если запросить метрику со смещением по времени с несколькими экземплярами metric_time/agg_time_dimension, смещение будет применено только к одному из них. Оно должно применяться ко всем.
    • Если запросить метрику со смещением по времени с одним экземпляром metric_time/agg_time_dimension, но выполнить фильтрацию по другому, запрос завершится ошибкой.
  • Исправление: При оценке узлов для соединения MetricFlow отдаёт приоритет рассматриваемому типу соединения перед типом по умолчанию. Например, для запросов уникальных значений тип соединения по умолчанию — FULL OUTER JOIN, однако соединения с временной шкалой требуют более подходящего типа CROSS JOIN.

  • Исправление: Исправлена ошибка, которая ранее приводила к сбоям при обращении к сущностям в фильтрах where.

Январь 2024​

  •  Обновления документации за январь

    Привет от команды dbt Docs: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Прежде всего, мы хотим поблагодарить 10 новых участников сообщества, которые внесли вклад в docs.getdbt.com 🙏 Какое же насыщенное начало года! В январе мы объединили 110 PR.

    Вот как мы улучшили работу с docs.getdbt.com:

    • Добавили новое поведение при наведении курсора на изображения
    • Добавили новые раскрывающиеся блоки (expandables) для FAQ
    • Убрали устаревшие уведомления и сниппеты в рамках обслуживания сайта документации

    В январе также появилось много нового контента:

    В январе также была обновлена часть существующего контента — в соответствии с новыми возможностями продукта или по запросам сообщества:

  • Новое: Новый тип метрик, позволяющий измерять события конверсии. Например, учитывать пользователей, которые просмотрели веб-страницу, а затем заполнили форму. Подробнее см. в разделе Метрики конверсии.

  • Новое: Вместо полного имени измерения (например, order__user__country) в выражении группировки или фильтрации теперь достаточно указать основную сущность и имя измерения, например user__county.

  • Новое: Теперь вы можете выполнять сохранённые запросы, определённые в Semantic Layer, с помощью Tableau, GraphQL API, JDBC API и CLI dbt.

  •  Новое: нативная поддержка partial parsing

    По умолчанию dbt парсит все файлы в проекте в начале каждого запуска dbt. В зависимости от размера проекта эта операция может занимать значительное время. Благодаря новой функции partial parsing в dbt Cloud вы можете сократить время, необходимое для парсинга проекта. При включении этой функции dbt Cloud парсит только изменённые файлы, а не все файлы проекта. В результате выполнение команд dbt занимает меньше времени.

    Подробнее см. в разделе Частичный парсинг.

    Пример опции Partial parsingПример опции Partial parsing
  • Улучшение: Параметр label спецификации YAML теперь доступен для метрик Semantic Layer в JDBC и GraphQL API. Это позволяет удобно использовать label в качестве отображаемого имени метрики при предоставлении доступа к ней.

  • Улучшение: Добавлена поддержка create_metric: true для меры — сокращённого способа быстрого создания метрик. Это полезно в случаях, когда метрики используются только для построения других метрик.

  • Улучшение: Добавлена поддержка фильтров с параметрами Tableau. С помощью коннектора Tableau можно создавать и использовать параметры для данных Semantic Layer.

  • Улучшение: Добавлена возможность получать expr и agg для мер через GraphQL API.

  • Улучшение: Улучшены сообщения об ошибках в интерфейсе командной строки при запросе измерения, недоступного для заданной метрики.

  • Улучшение: Теперь можно запрашивать сущности через нашу интеграцию с Tableau (аналогично запросам измерений).

  • Улучшение: В нашей интеграции с Tableau появился новый источник данных под названием "ALL", который содержит все определённые семантические объекты. Он содержит ту же информацию, что и "METRICS_AND_DIMENSIONS". В будущем мы прекратим поддержку "METRICS_AND_DIMENSIONS" в пользу "ALL", чтобы название было понятнее.

  • Исправление: Теперь доступна поддержка числовых типов с точностью больше 38 (например, BIGDECIMAL) в BigQuery. Ранее такие типы не поддерживались и приводили к ошибке.

  • Исправление: В некоторых случаях большие числовые измерения интерпретировались Tableau в научной нотации, из‑за чего их было сложно использовать. Теперь они должны отображаться как обычные числа.

  • Исправление: Теперь значения измерений сохраняются корректно и больше не преобразуются непреднамеренно в строки.

  • Исправление: Устранены проблемы с конфликтами имён в запросах, использующих несколько производных метрик с одинаковыми входными метриками. Ранее это могло вызывать конфликт имён. Теперь входные метрики дедуплицируются и каждая используется только один раз.

  • Исправление: Устранены предупреждения, связанные с использованием двух одинаковых входных measure в производной метрике. Ранее это вызывало предупреждение. Теперь входные measure дедуплицируются, что улучшает обработку запросов и их читаемость.

  • Исправление: Исправлена ошибка, при которой ссылка на сущность в фильтре с использованием объектного синтаксиса не работала. Например, {{Entity('entity_name')}} не могло быть корректно разрешено.

Нашли ошибку?

0
Loading