Примечания к выпускам платформы dbt за 2024 год
Примечания к выпускам dbt с описанием недавних и более ранних изменений. Примечания к выпускам относятся к одной из следующих категорий:
- New: Новые продукты и возможности
- Enhancement: Улучшения производительности и расширения функциональности
- Fix: Исправления ошибок и уязвимостей безопасности
- Behavior change: Изменения существующего поведения, которые не подпадают под другие категории, например, устаревание функций или изменения значений по умолчанию
Примечания к релизам сгруппированы по месяцам как для многоарендных (multi-tenant), так и для сред с виртуальным частным облаком (VPC)*
* Официальная дата выпуска этого нового формата примечаний к релизам — 15 мая 2024 года. Исторические примечания к релизам за более ранние даты могут не отражать все функции, выпущенные ранее в этом году, или их доступность в зависимости от типа развертывания.
Декабрь 2024
-
New: Сохранённые запросы теперь поддерживают tags, которые позволяют категоризировать ресурсы и фильтровать их. Добавляйте теги к вашим saved queries в файле
semantic_model.ymlилиdbt_project.yml. Например:dbt_project.ymlsaved-queries:
jaffle_shop:
customer_order_metrics:
+tags: order_metrics -
Новое: Измерения теперь поддерживают свойство конфигурации
metaв канале выпусков dbt Cloud Latest и начиная с dbt Core 1.9. Вы можете добавлять метаданные к измерениям, чтобы предоставлять дополнительный контекст и информацию об измерении. Подробнее см. в разделе meta. -
Новое: Зависимые экспозиции теперь общедоступны в тарифных планах dbt Enterprise. Зависимые экспозиции напрямую интегрируются с Tableau (поддержка Power BI появится в ближайшее время) и автоматически формируют граф зависимостей нижестоящих ресурсов в dbt Explorer, расширяя его возможности.
-
Новое: Semantic Layer поддерживает Sigma в качестве партнёрской интеграции, доступной в предварительной версии. Подробнее см. в документации Sigma.
-
Новое: Semantic Layer теперь поддерживает одноарендаторные развёртывания в Azure. Подробнее о начале работы см. в разделе Настройка Semantic Layer.
-
Исправление: Устранены периодически возникавшие проблемы в одноарендаторных средах, затрагивавшие Semantic Layer и историю запросов.
-
Исправление: dbt Semantic Layer теперь учитывает атрибут
execution_projectв BigQuery, в том числе при экспорте. -
Новое: Уведомления о моделях теперь общедоступны в dbt. Эти уведомления оповещают владельцев моделей по электронной почте о любых проблемах с моделями и тестами сразу после их возникновения во время выполнения задания.
-
Новое: Теперь вы можете использовать свой ключ Azure OpenAI (доступно в бета-версии) для работы с такими функциями dbt, как . Кроме того, вы можете использовать собственный ключ OpenAI API или ключ OpenAI под управлением dbt Labs. Подробнее см. в разделе Интеграции с ИИ.
-
Новое: Параметр конфигурации
hard_deletesпредоставляет больше возможностей для управления обработкой строк, удалённых из источника. Поддерживаются значенияignore(по умолчанию),invalidate(заменяет устаревший параметрinvalidate_hard_deletes=true) иnew_record. Обратите внимание: при использованииnew_recordв таблице снимка будет создан новый столбец метаданных.
Ноябрь 2024
- Улучшение: Индикаторы состояния данных в dbt Explorer теперь доступны для экспозиций и позволяют быстро оценить состояние данных при просмотре ресурсов. Чтобы увидеть значки доверия к данным, перейдите в dbt Explorer и нажмите Exposures на вкладке Resource. Подробнее см. в разделе Индикаторы состояния данных для ресурсов.
- Ошибка: Выявлена и исправлена ошибка в запросах Semantic Layer, выполнение которых занимает более 10 минут.
- Исправление: При экспорте теперь учитываются переопределения переменных окружения задания, заданные в учётных данных. Ранее они игнорировались.
- Изменение поведения: Если вы используете пользовательский макрос микропакетной обработки, установите флаг поведения
require_batched_execution_for_custom_microbatch_strategyв файлеdbt_project.yml, чтобы включить пакетное выполнение. Если у вас нет пользовательского макроса микропакетной обработки, устанавливать этот флаг не нужно: dbt автоматически выполняет микропакетную обработку для любой модели, использующей стратегию microbatch. - Улучшение: Пользователи, у которых включена функция сравнения изменений в Advanced CI, могут повысить производительность сравнений с помощью пользовательского синтаксиса dbt: настроить использование отложенного разрешения ссылок (deferral), исключить определённые крупные модели (или группы моделей с тегами) и многое другое. Примеры настройки команды сравнения см. в разделе Пользовательские команды сравнения изменений.
- Новое: Проверка SQL в заданиях CI теперь общедоступна в dbt. Вы можете включить проверку SQL в своих заданиях CI с помощью SQLFluff, чтобы автоматически проверять все SQL-файлы проекта на отдельном шаге выполнения перед сборкой в задании CI. Проверка с помощью SQLFluff доступна в каналах обновлений dbt для учётных записей dbt с тарифом Team или Enterprise. Подробнее см. в разделе Проверка SQL.
- Новое: Используйте настройку
dbt_valid_to_current, чтобы задать собственное значениеdbt_valid_toдля актуальных записей снимка (например, дату в будущем). По умолчанию это значение равноNULL. Если настройка задана, dbt будет использовать указанное значение вместоNULLдляdbt_valid_toв актуальных записях таблицы снимка. Эта функция доступна в канале обновлений dbt Cloud Latest (ранее называвшемсяVersionless) и в dbt Core версии 1.9 и выше. - Новое: Используйте настройку
event_time, чтобы указать, «в какой момент времени произошло событие, представленное строкой». Эта настройка обязательна для инкрементальной микропакетной обработки; её также можно добавить, чтобы обеспечить сравнение пересекающихся временных интервалов при сравнении изменений в Advanced CI. Доступна в канале обновлений dbt Cloud Latest (ранее называвшемсяVersionless) и в dbt Core версии 1.9 и выше. - Исправление: Это обновление улучшает интеграцию Semantic Layer с Tableau, повышая надёжность разбора запросов. Основные исправления:
- Сообщения об ошибках для неподдерживаемых соединений между сохранёнными запросами и таблицами ALL.
- Улучшена обработка запросов при выборе нескольких таблиц в источнике данных.
- Исправлена ошибка, возникавшая, когда фильтр IN содержал большое количество значений.
- Улучшены сообщения об ошибках для запросов, которые невозможно корректно разобрать.
- Улучшение: Semantic Layer поддерживает создание новых учётных данных для пользователей, у которых нет разрешения на создание сервисных токенов. На боковой панели Credentials & service tokens опция +Add Service Token недоступна пользователям без соответствующего разрешения. Вместо неё на боковой панели отображается сообщение о том, что у пользователя нет разрешения на создание сервисного токена и ему следует обратиться к администратору. Подробнее см. в разделе Настройка Semantic Layer.
Октябрь 2024
- Изменение поведения: Многофакторная аутентификация теперь обязательна для всех пользователей, которые входят в систему с именем пользователя и паролем.
- Улучшение: JDBC-драйвер dbt Semantic Layer теперь позволяет использовать постраничную выдачу результатов
semantic_layer.metrics()иsemantic_layer.dimensions()для метрик и измерений с помощью параметровpage_sizeиpage_number. Подробнее см. в разделе Постраничная выдача при вызовах для получения метаданных. - Улучшение: JDBC-драйвер dbt Semantic Layer теперь позволяет фильтровать метрики, оставляя только те, которые содержат определённую подстроку, с помощью параметра
search. Если подстрока не указана, запрос возвращает все метрики. Подробнее см. в разделе Получение метрик с помощью поиска по подстроке. - Исправление: Интеграция Semantic Layer с Excel теперь корректно отображает ошибки при сбое выполнения запроса. Ранее причина, по которой запрос не выполнялся, оставалась неясной.
- Исправление: Ранее POST-запросы к Jobs API с недопустимыми строками
cronвозвращали код состояния HTTP 500, но при этом обновляли соответствующую сущность. Теперь POST-запросы к Jobs API с недопустимыми строкамиcronвозвращают код состояния 400 без обновления соответствующей сущности. - Исправление: Исправлена проблема, из-за которой страница просмотра
Sourceв dbt Explorer некорректно отображала статус свежести источника, если данные о свежести были старше 30 дней. - Исправление: Интерфейс теперь указывает, когда описание модели унаследовано из комментария в каталоге.
- Изменение поведения: Пользовательские API-токены объявлены устаревшими. Если вы всё ещё используете их, перейдите на персональные токены доступа.
- Новое: Cloud IDE поддерживает подписанные коммиты Git в тарифных планах Enterprise. Вы можете подписывать коммиты Git при отправке в репозиторий, чтобы предотвратить подмену авторства и повысить безопасность. Поддерживаемые провайдеры Git — GitHub и GitLab. Подробнее см. в разделе Подписание коммитов Git.
- Новое: С Mesh теперь можно включать двунаправленные зависимости между проектами. Ранее dbt допускал зависимости только в одном направлении. dbt проверяет наличие циклов между проектами и выдаёт ошибки при их обнаружении. Подробнее см. в разделе Обнаружение циклов. Также доступно руководство Введение в Mesh, которое поможет вам узнать больше о рекомендуемых подходах.
- Новое: Комплект средств разработки на Python для Semantic Layer теперь общедоступен. Он предоставляет пользователям удобный доступ к Semantic Layer из Python и позволяет разработчикам взаимодействовать с API Semantic Layer для запроса метрик и измерений в нижестоящих инструментах.
- Улучшение: Теперь можно добавлять описание к отдельному тесту данных (singular data test). Используйте свойство
descriptionдля документирования отдельных тестов данных. Для хранения описания теста также можно использовать блок docs. Улучшение уже доступно в канале выпусков Latest в dbt Cloud и будет включено в dbt Core v1.9. - Новое: Представляем стратегию микропакетной обработки для инкрементальных моделей (бета-версия), которая уже доступна в dbt Cloud Latest и вскоре будет поддерживаться в dbt Core v1.9. Эта стратегия позволяет эффективно обрабатывать большие наборы данных временных рядов пакетами, повышая производительность и устойчивость к сбоям, особенно при работе с данными, которые меняются со временем (например, когда новые записи добавляются ежедневно). Чтобы включить эту возможность в dbt Cloud, задайте переменной окружения
DBT_EXPERIMENTAL_MICROBATCHзначениеtrueв своём проекте. - Новое: dbt Semantic Layer поддерживает конфигурации настраиваемого календаря в MetricFlow; эта возможность доступна в статусе Preview. Конфигурации настраиваемого календаря позволяют запрашивать данные с использованием нестандартных временных периодов, таких как
fiscal_yearилиretail_month. О том, как определить эти пользовательские уровни временной детализации в YAML-конфигурации временной шкалы MetricFlow, см. в разделе Настраиваемый календарь. - Новое: В канале выпусков Latest в dbt снимки обновлены: теперь они используют файлы конфигурации YAML вместо SQL-блоков снимков. Эта новая возможность упрощает управление снимками и повышает производительность; вскоре она также появится в dbt v1 версии 1.9.
- Кого это затрагивает? Пользователи канала выпусков Latest в dbt могут определять снимки с помощью новой спецификации YAML. Пользователи, переходящие на Latest и уже имеющие определения снимков, могут сохранить существующие конфигурации или перенести определения снимков в YAML.
- Пользователи более ранних версий: никаких действий не требуется; существующие снимки продолжат работать как прежде. Однако мы рекомендуем перейти на канал выпусков Latest, чтобы воспользоваться новыми возможностями снимков.
- Изменение поведения: Задайте
state_modified_compare_more_unrendered_valuesзначение true, чтобы сократить число ложных срабатыванийstate:modified, когда конфигурации различаются между окружениямиdevиprod. - Изменение поведения: Задайте флагу
skip_nodes_if_on_run_start_failsзначениеTrue, чтобы пропускать выполнение всех выбранных ресурсов при сбое хукаon-run-start. - Улучшение: В канале выпусков Latest в dbt Cloud снимки, определённые в SQL-файлах, теперь могут использовать
config, заданный в YAML-файлахschema.yml. Это обновление устраняет прежнее ограничение, из-за которого свойства снимков требовалось определять исключительно вdbt_project.ymlи/или в блокеconfig()внутри SQL-файла. Это улучшение также войдёт в dbt Core 1.9. - Новое: В канале выпусков Latest в dbt Cloud конфигурация
snapshot_meta_column_namesпозволяет настраивать имена столбцов метаданных снимков. Эта возможность позволяет организации привести автоматически создаваемые имена столбцов в соответствие со своими соглашениями и будет включена в предстоящий выпуск dbt Core 1.9. - Улучшение: В канале выпусков Latest в dbt Cloud
primary_keyмодели определяется на основе настроенных тестов данных и/или ограничений вmanifest.json. Определённый таким образомprimary_keyотображается в dbt Explorer и используется функцией сравнения изменений в dbt Cloud. Это улучшение также войдёт в dbt Core 1.9. Ознакомьтесь с порядком, в котором dbt определяет, какие столбцы могут использоваться в качестве первичного ключа модели. - Новое: В dbt Explorer теперь есть значки индикаторов доверия, доступные в статусе Preview. Индикаторы доверия позволяют быстро оценить состояние данных при просмотре моделей dbt в dbt Explorer. Эти значки показывают, находится ли модель в состоянии Healthy (исправна), Caution (требует внимания), Degraded (ухудшенное состояние) или Unknown (неизвестно). Для получения достоверных данных о состоянии убедитесь, что ресурс актуален и для него недавно выполнялось задание. Подробнее см. в разделе Индикаторы состояния данных.
- Новое: Нижестоящие зависимости (exposures) теперь доступны в статусе Preview в dbt. Эта возможность помогает пользователям понять, как их модели используются в нижестоящих аналитических инструментах, чтобы обоснованно распределять ресурсы и сокращать число инцидентов. Она импортирует и автоматически создаёт exposures на основе дашбордов Tableau с возможностью отбора и настройки пользователем. Подробнее см. в разделе Нижестоящие зависимости (exposures).
Сентябрь 2024
- Исправление: В MetricFlow метод
get_and_expireобновлён: неподдерживаемая командаGETEXзаменена наGETс условной установкой срока действия, что обеспечивает совместимость с Azure Redis 6.0. - Улучшение: Python SDK для dbt Semantic Layer теперь поддерживает пользовательскую временную детализацию
TimeGranularityдля метрик. Эта возможность позволяет определять для метрик пользовательские уровни временной детализации, напримерfiscal_yearилиretail_month, чтобы запрашивать данные за нестандартные временные периоды. - Новое: Используйте ИИ-движок для создания семантических моделей на основе ваших моделей — эта возможность теперь доступна в бета-версии. автоматически создаёт документацию, тесты, а теперь и семантические модели на основе данных вашей модели. Подробнее см. в разделе .
- Новое: Используйте новый рекомендуемый синтаксис для определения ограничений
foreign_keyс помощьюrefs, доступный в канале выпусков Latest в dbt Cloud. Вскоре он также появится в dbt Core v1.9. Этот новый синтаксис позволяет учитывать зависимости и работает в разных средах. - Улучшение: Теперь вы можете выполнять команды Semantic Layer в dbt Cloud IDE. Поддерживаются команды
dbt sl list,dbt sl list metrics,dbt sl list dimension-values,dbt sl list saved-queries,dbt sl query,dbt sl list dimensions,dbt sl list entitiesиdbt sl validate. - Новое: Интеграция Semantic Layer с Microsoft Excel теперь общедоступна. Она позволяет подключаться к Microsoft Excel для запроса метрик и совместной работы с командой. Доступна для Excel Desktop и Excel Online. Подробнее см. в разделе Microsoft Excel.
- Новое: Плитка состояния данных теперь общедоступна в dbt Explorer. Плитки состояния данных позволяют быстро оценить качество данных и выявить потенциальные проблемы. Вы можете встраивать эти плитки в свои дашборды, чтобы оперативно обнаруживать и устранять проблемы с качеством данных в вашем проекте dbt.
- Новое: Функция истории запросов к модели в dbt Explorer теперь доступна в предварительной версии для клиентов dbt Enterprise. История запросов к модели позволяет просматривать количество запросов, использующих модель, на основе журналов запросов хранилища данных. Эта функция предоставляет командам по работе с данными информацию, которая помогает сосредоточить время и затраты на инфраструктуру на ценных и востребованных продуктах данных. Подробнее см. в разделе История запросов к модели.
- Улучшение: Теперь при подключении к Semantic Layer можно использовать расширенные атрибуты и переменные среды. Если задать значение непосредственно в учётных данных Semantic Layer, оно будет иметь более высокий приоритет, чем расширенные атрибуты. При использовании переменных среды будет применяться значение по умолчанию для этой среды. Если вы используете экспорт, переопределения переменных среды на уровне задания пока не поддерживаются, но скоро будут доступны.
- Новое: Добавлены два новых значения по умолчанию для переменных среды —
DBT_CLOUD_ENVIRONMENT_NAMEиDBT_CLOUD_ENVIRONMENT_TYPE. - Новое: Подключение к хранилищу Amazon Athena доступно в публичной предварительной версии для аккаунтов dbt, перешедших на канал выпусков Latest.
Август 2024
- Исправление: Исправлена ошибка в dbt Explorer, из-за которой при переходе от публичного узла к проекту-потребителю отображалась случайная публичная модель вместо изначально выбранной.
- Новое: Теперь можно настраивать метрики с более детальной временной гранулярностью: по часам, минутам и даже секундам. Это особенно полезно для более подробного анализа и наборов данных, требующих высокой точности временных данных, например для поминутного отслеживания событий. Подробнее о временной гранулярности см. в разделе Измерения.
- Улучшение: Microsoft Excel теперь поддерживает сохранённые наборы выбранных параметров и сохранённые запросы. Используйте Saved selections, чтобы сохранять выбранные параметры запроса в приложении Excel. Приложение также по умолчанию очищает устаревшие данные в строках после результатов запроса. Чтобы получить результаты и сохранить ранее выбранные данные без изменений, снимите флажок Clear trailing rows.
- Изменение поведения: GitHub больше не поддерживается для входа в dbt через OAuth. Используйте поддерживаемого провайдера SSO или OAuth для безопасного управления доступом к вашей учётной записи dbt.
Июль 2024
-
Изменение поведения:
target_schemaбольше не является обязательным параметром конфигурации для снимков. Теперь с помощью параметра schema можно задавать разные целевые схемы для снимков в средах разработки и развёртывания. -
Новое: Подключения теперь доступны в разделе Account settings как глобальная настройка. Ранее они находились в разделе Project settings. Это изменение будет внедряться поэтапно в течение ближайших недель.
-
Новое: Администраторы теперь могут назначать группам разрешения на уровне среды для определённых ролей.
-
Новое: Задания слияния для реализации рабочих процессов непрерывного развёртывания (CD) теперь общедоступны (GA) в dbt. Ранее требовалось либо настраивать собственный GitHub action, либо вручную запускать сборку изменений после каждого слияния pull request.
-
Новое: Теперь доступна проверка SQL-файлов линтером из dbt CLI. Подробнее см. в разделе Проверка SQL-файлов линтером.
-
Изменение поведения: dbt Cloud IDE автоматически добавляет
--limit 100к запросам предварительного просмотра, чтобы избежать медленных и дорогостоящих запросов во время разработки. Недавно в dbt Core изменился способ примененияlimit, чтобы гарантировать соблюдение условийorder by. Из-за этого запросы, уже содержащие условие limit, теперь могут вызывать ошибки при предварительном просмотре в IDE. Чтобы решить эту проблему, dbt Labs планирует вскоре добавить возможность отключать автоматическое применение ограничения. До тех пор dbt Labs рекомендует удалять дублирующее условие limit из запросов при предварительном просмотре, чтобы избежать этих ошибок IDE. -
Улучшение: Представлена обновлённая страница обзора dbt Explorer, доступная в beta. Она включает новый дизайн и компоновку главной страницы dbt Explorer, а также новый раздел Latest updates для просмотра последних изменений или проблем, связанных с ресурсами проекта. Подробнее см. Overview page.
Семантический слой dbt
- Новое: Представлена Python-библиотека
dbt-sl-sdk— комплект средств разработки (SDK), которая упрощает доступ к семантическому слою dbt из Python. Она позволяет разработчикам взаимодействовать с API семантического слоя dbt и запрашивать метрики и измерения в инструментах, использующих эти данные. Подробнее см. в разделе Python SDK для семантического слоя dbt. - Новое: Представлены семантические проверки в конвейерах CI. Автоматически тестируйте семантические узлы (метрики, семантические модели и сохранённые запросы) при проверке кода, добавив в задание CI проверки с обращением к хранилищу данных с помощью команды
dbt sl validate. Вы также можете проверять изменённые семантические узлы, чтобы убедиться, что изменения кода моделей dbt не нарушают работу этих метрик. Дополнительные команды и сценарии использования описаны в разделе Семантические проверки в CI. - Новое: Поле
metaиз свойства конфигурации для метрик семантического слоя dbt теперь доступно в API JDBC и GraphQL в полеmeta. - Новое: В dbt CLI добавлена новая команда
export-all, которая позволяет экспортировать несколько или все сохранённые запросы. Ранее требовалось явно указывать список сохранённых запросов. - Улучшение: Semantic Layer теперь обеспечивает более детальное управление благодаря поддержке нескольких наборов учётных данных платформы данных, которые могут соответствовать разным ролям или служебным учётным записям. В тарифных планах dbt Enterprise можно сопоставлять учётные данные со служебными токенами для безопасной аутентификации. Подробнее см. в разделе Настройка Semantic Layer.
- Исправление: Исправлена ошибка, из-за которой фильтры запросов с символами Unicode (например, китайскими иероглифами) некорректно работали в интеграции Semantic Layer с Tableau.
- Исправление: Исправлена ошибка разбора некоторых закрытых ключей для BigQuery при выполнении экспорта.
- Исправление: Исправлена ошибка, из-за которой при выполнении запроса или экспорта возвращалась ошибка «closed connection».
- Исправление: Исправлена проблема в dbt v1, из-за которой при частичном разборе ошибочно удалялись все сгенерированные метрики в файле, а не только метрики, связанные с изменённой семантической моделью. Теперь затрагиваются только метрики, связанные с изменённой моделью.
Июнь 2024
-
Новое: В MetricFlow появилась поддержка новых уровней детализации накопительных метрик. Такие метрики нельзя просто суммировать по периодам, поэтому для изменения детализации
date_truncне подходит.Вместо этого MetricFlow агрегирует значения за запрошенный период с помощью
first(),last()иavg(). По умолчанию используется первое значение периода. Это можно изменить с помощью параметраperiod_agg. Подробнее см. в разделе Уровни детализации накопительных метрик.
Семантический слой dbt
- Новое: В MetricFlow добавлена поддержка SQL-оптимизации Predicate pushdown. Теперь фильтры по категориальным измерениям будут применяться непосредственно к исходной таблице метрики. Ранее фильтры применялись после выборки из исходной таблицы метрики. Это изменение помогает сократить количество полных сканирований таблиц в некоторых движках выполнения запросов.
- Новое: Фильтры
whereпо измерениям (включённые в сохранённые запросы) теперь могут использовать кеш при выполнении запросов. Это означает, что теперь вы можете динамически фильтровать данные на дашбордах, не теряя преимуществ кеширования в производительности. Подробнее см. в разделе Кеширование. - Улучшение: В Google Sheets для метрик и измерений в меню Query Builder добавлены значки информации и описания. Нажмите кнопку со значком Info, чтобы просмотреть описание метрики или измерения. Эта возможность доступна в следующих разделах меню Query Builder: metric, group by, where, saved selections и saved queries.
- Улучшение: В Google Sheets теперь можно задавать детализацию для всех временных измерений, а не только для времени метрики. Это обновление использует наши API, чтобы поддерживать выбор детализации для любого выбранного временного измерения.
- Улучшение: Предупреждения MetricFlow о временных шкалах (time spine) теперь предлагают пользователям настроить отсутствующие временные шкалы или шкалы с мелкой детализацией. Если для одного уровня детализации задано несколько временных шкал, отображается сообщение об ошибке.
- Улучшение: Теперь отображается ошибка, если не настроена временная шкала с запрошенным или более мелким уровнем детализации.
- Улучшение: Улучшено сообщение об ошибке при выполнении запроса, если учётные данные для семантического слоя не заданы.
- Улучшение: Теперь при запросе доступных уровней детализации для накопительных метрик возвращается несколько вариантов (день, неделя, месяц, квартал, год), как и для всех остальных типов метрик. Ранее для накопительных метрик можно было запрашивать данные только с одним уровнем детализации.
- Исправление: Устранены ошибки, препятствовавшие выполнению запросов к накопительным метрикам с другими уровнями детализации.
- Исправление: Исправлены различные ошибки Tableau, возникавшие при запросе определённых метрик или использовании вычисляемых полей.
- Исправление: В Tableau смягчены требования к именованию полей, чтобы улучшить распознавание вычисляемых полей.
- Исправление: Исправлена ошибка при обновлении метаданных базы данных для столбцов, которые невозможно преобразовать в Arrow. Теперь эти столбцы будут пропускаться. В основном эта проблема затрагивала пользователей Redshift с пользовательскими типами данных.
- Исправление: Исправлены подключения Private Link для Databricks.
Также доступно в этом месяце
- Улучшение: Теперь доступны обновления интерфейса создания заданий слияния. Они включают улучшенные поясняющие тексты, новые настройки отложенного разрешения ссылок (deferral) и повышение производительности.
- Новое: Semantic Layer теперь поддерживает бесшовную интеграцию с Microsoft Excel, доступную в режиме предварительного ознакомления. Создавайте запросы к семантическому слою и получайте данные метрик прямо в Excel через специальное меню. Чтобы узнать больше и установить надстройку, ознакомьтесь с разделом Microsoft Excel.
- Новое: Предупреждения о заданиях теперь общедоступны (GA). Ранее вы могли получать уведомления по электронной почте или в Slack об успешном выполнении, сбое или отмене заданий. Теперь благодаря новой опции Warns вы также можете получать уведомления, если во время выполнения заданий возникли предупреждения от тестов или проверок актуальности источников. Это дает больше гибкости в выборе того, когда получать уведомления.
- Новое: Теперь доступна предварительная версия приложения dbt Snowflake Native App. С помощью этого приложения вы можете использовать dbt Explorer, чат-бот Ask dbt и функции наблюдаемости оркестрации, расширяя возможности работы с dbt в интерфейсе Snowflake.
Май 2024
- Улучшение: В IDE появилась новая кнопка Git Prune branches. Эта кнопка позволяет удалять локальные ветки, которые уже удалены из удалённого репозитория, помогая поддерживать порядок в ветках. Теперь она доступна во всех регионах, а для аккаунтов с выделенной инфраструктурой (single tenant) станет доступна в следующем цикле выпуска.
Мероприятие dbt Cloud Launch Showcase
Следующие возможности появились или были улучшены в рамках нашего мероприятия dbt Launch Showcase, состоявшегося 14 мая 2024 года:
-
Новое: — мощный ИИ-движок, который помогает создавать документацию, тесты и семантические модели, экономя ваше время при подготовке высококачественных данных. Доступен в IDE в рамках закрытого бета-тестирования для части пользователей dbt Enterprise. Зарегистрируйте свой интерес, чтобы присоединиться к закрытому бета-тестированию.
-
Новое: Новый low-code-редактор, который сейчас находится на этапе закрытого бета-тестирования, позволяет аналитикам с небольшим опытом работы с SQL создавать и редактировать модели dbt в визуальном интерфейсе внутри dbt с помощью перетаскивания элементов. Эти модели компилируются непосредственно в SQL и ничем не отличаются от других моделей dbt в ваших проектах: они находятся под контролем версий, доступны из других проектов в Mesh и интегрируются с dbt Explorer и Cloud IDE. Зарегистрируйте свой интерес, чтобы присоединиться к закрытому бета-тестированию.
-
Новое: dbt CLI теперь общедоступен (GA) для всех пользователей. dbt CLI — это интерфейс командной строки, который позволяет взаимодействовать с dbt, использовать автоматическое делегирование (deferral), задействовать Mesh и многое другое!
-
Новое: Модульные тесты теперь общедоступны (GA) в dbt. Модульные тесты позволяют проверять SQL-логику ваших моделей на наборе статических входных данных.
-
Новое: MetricFlow теперь позволяет добавлять метрики в качестве измерений (dimensions) в фильтры метрик для создания более сложных метрик и получения большего количества инсайтов. Доступно для всех пользователей Semantic Layer.
-
Новое: Промежуточная среда теперь общедоступна (GA). Используйте промежуточные среды, чтобы предоставлять разработчикам доступ к рабочим процессам и инструментам развертывания, контролируя при этом доступ к производственным данным. Доступно всем пользователям dbt.
-
Новое: Поддержка входа по OAuth через Databricks теперь общедоступна (GA) для клиентов с тарифным планом Enterprise.
-
Новое: Встроенная поддержка Microsoft Fabric в dbt теперь общедоступна (GA). Эта возможность реализована с помощью адаптера dbt-fabric. Подробнее см. в разделах Подключение Microsoft Fabric и Конфигурации Microsoft Fabric DWH. Также доступно руководство по быстрому старту, которое поможет вам начать работу.
-
Новое: Mesh теперь общедоступен (GA) для пользователей dbt с тарифным планом Enterprise. Mesh — это подход, который помогает организациям эффективно масштабировать свои команды и ресурсы данных. Он способствует внедрению лучших практик управления и позволяет разделять крупные проекты на части, которыми проще управлять. Чтобы начать работу с Mesh, прочитайте руководство по быстрому старту с Mesh.
-
Новое: Интеграции Semantic Layer с Tableau Desktop, Tableau Server и Google Sheets теперь общедоступны (GA) для учетных записей dbt с тарифными планами Team или Enterprise. Эти полнофункциональные интеграции позволяют выполнять запросы и получать ценные аналитические сведения из вашей экосистемы данных.
-
Улучшение: В рамках нашей постоянной работы над улучшением IDE в файловую систему внесены изменения для ускорения разработки в dbt, в том числе введено ограничение размера репозитория Git в 10 ГБ.
Также доступно в этом месяце:
-
Обновление: CLI dbt теперь доступен для одноарендных развертываний в Azure, а также во всех регионах развертывания как для многоарендных, так и для одноарендных учетных записей.
-
Новинка: В Semantic Layer появилось декларативное кэширование, позволяющее кэшировать часто используемые запросы для повышения производительности и снижения затрат на вычисления при выполнении запросов. Доступно для учетных записей dbt с тарифным планом Team или Enterprise.
-
Изменение поведения: Добавлен флаг
require_resource_names_without_spaces, который включается явно и по умолчанию отключён. Если установить его вTrue, dbt вызовет исключение, если обнаружит имя ресурса, содержащее пробел, в вашем проекте или установленном пакете. В одной из будущих версий dbt такое поведение станет стандартным. Подробнее см. в разделе Запрет пробелов в именах ресурсов.
Апрель 2024
-
Изменение поведения: Добавлен флаг
require_explicit_package_overrides_for_builtin_materializations, который включается по желанию и по умолчанию отключён. Если установлено значениеTrue, dbt будет использовать только встроенные материализации, определённые в корневом проекте или в самом dbt, а не реализации из пакетов. Это поведение станет поведением по умолчанию в мае 2024 года (в dbt Core v1.8 и каналах выпуска dbt Cloud). Подробнее см. в разделе Переопределение встроенной материализации в пакете.
Semantic Layer
- Новое: Используйте сохранённые наборы параметров (Saved selections), чтобы сохранять выбранные параметры запросов в приложении Google Sheets. Их можно сделать приватными или общедоступными; они обновляются при загрузке.
- Новое: Метрики теперь отображаются по своим меткам как
metric_name. - Улучшение: Метрики теперь поддерживают параметр
metaв свойстве config. Ранее поддерживался только тегmeta, который теперь объявлен устаревшим. - Улучшение: В приложении Google Sheets добавлена поддержка непосредственного использования сохранённых запросов, определённых в MetricFlow, в качестве отправной точки для работы или для исследования данных.
- Улучшение: В приложении Google Sheets добавлена поддержка запросов измерений без метрик. Ранее требовалось указать измерение.
- Улучшение: В приложении Google Sheets добавлена поддержка предустановленных временных периодов и сложных фильтров временного диапазона, таких как «между», «после» и «до».
- Улучшение: В приложении Google Sheets добавлена поддержка автоматического заполнения значений измерений при выборе фильтра «where», что избавляет от необходимости вводить их вручную. Ранее значения измерений требовалось вводить вручную.
- Улучшение: В приложении Google Sheets добавлена поддержка прямых запросов к сущностям, что повышает гибкость запросов данных.
- Улучшение: В приложении Google Sheets добавлена возможность исключать заголовки столбцов, что удобно для заполнения шаблонов только необходимыми данными.
- Устаревшая функциональность: В интеграции с Tableau источник данных
METRICS_AND_DIMENSIONSобъявлен устаревшим для всех учётных записей, которые не используют его активно. Рекомендуем пользователям переходить на источник данных «ALL» для будущих интеграций.
Март 2024
- Новое: Сервисы Semantic Layer теперь поддерживают использование Privatelink для клиентов, у которых он включён.
- Новое: Теперь вы можете разрабатывать и тестировать свой Semantic Layer в dbt CLI, если ваши учётные данные пользователя используют SSO.
- Улучшение: Теперь можно выбирать сущности для группировки (Group By), фильтрации (Filter By) и сортировки (Order By).
- Исправление:
dbt parseбольше не выдаёт ошибку при использовании списка фильтров (вместо одного строкового фильтра) для метрики. - Исправление:
join_to_timespineтеперь корректно применяется к входным мерам метрик конверсии. - Исправление: Исправлена проблема, из-за которой операции экспорта в Redshift не всегда фиксировались в хранилище данных (DWH), что также приводило к сохранению блокировок таблиц.
- Изменение поведения: Добавлен флаг
source_freshness_run_project_hooks, который по умолчанию отключён и требует явного включения. Если установить для него значениеTrue, dbt будет выполнять хуки проектаon-run-*при запуске командыsource freshness. В одной из будущих версий dbt это поведение станет поведением по умолчанию. Подробнее см. в разделе Хуки проекта при проверке актуальности источников.
Февраль 2024
-
Новое: Экспорты позволяют материализовать сохранённый запрос в виде таблицы или представления на вашей платформе данных. Используя экспорты, вы можете унифицировать определения метрик на своей платформе данных и запрашивать их так же, как любую другую таблицу или представление.
-
Новое: Вы можете получить список своих экспортов с помощью новой команды
list saved-queries, добавив--show-exports -
Новое: Semantic Layer и коннектор Tableau теперь поддерживают фильтры относительных дат в Tableau.
-
Улучшение: Интеграция с Google Sheets для Semantic Layer теперь отображает примечание в ячейке, из которой были запрошены данные, делая запросы данных более понятными. В интеграции также появился новый параметр Time Range, который позволяет быстро выбирать диапазоны дат.
-
Улучшение: GraphQL API включает параметр
requiresMetricTimeдля более эффективной обработки метрик, которые необходимо группировать по времени. (Некоторые метрики, определённые в MetricFlow, нельзя просматривать без временного измерения). -
Улучшение: Добавлена возможность запрашивать метрики со смещением и накопительные метрики с использованием имени временного измерения вместо
metric_time. Задача #1000- Добавлена возможность запрашивать
metric_timeбез метрик. Задача #928
- Добавлена возможность запрашивать
-
Улучшение: Добавлена поддержка согласованной генерации SQL-запросов, обеспечивающая согласованность генерируемых идентификаторов для идентичных во всём остальном запросов MF. Ранее SQL, генерируемый
MetricFlowEngine, не был полностью согласованным для идентичных запросов. Задача 1020 -
Исправление: Коннектор Tableau возвращает фильтр по дате при фильтрации по датам. Ранее он ошибочно возвращал фильтр по временной метке.
-
Исправление: MetricFlow теперь проверяет наличие элементов
metrics,group byилиsaved_queryв каждом запросе. Ранее такая проверка не выполнялась. Задача 1002 -
Исправление: К мерам, использующим
join_to_timespineв MetricFlow, теперь корректно применяются фильтры после соединения с временной шкалой. -
Исправление: Запросы с несколькими уровнями детализации для метрик со смещением:
- Если запросить метрику со смещением по времени с несколькими экземплярами
metric_time/agg_time_dimension, смещение будет применено только к одному из них. Оно должно применяться ко всем. - Если запросить метрику со смещением по времени с одним экземпляром
metric_time/agg_time_dimension, но выполнить фильтрацию по другому, запрос завершится ошибкой.
- Если запросить метрику со смещением по времени с несколькими экземплярами
-
Исправление: При оценке узлов для соединения MetricFlow отдаёт приоритет рассматриваемому типу соединения перед типом по умолчанию. Например, для запросов уникальных значений тип соединения по умолчанию —
FULL OUTER JOIN, однако соединения с временной шкалой требуют более подходящего типаCROSS JOIN. -
Исправление: Исправлена ошибка, которая ранее приводила к сбоям при обращении к сущностям в фильтрах
where.
Январь 2024
-
Новое: Новый тип метрик, позволяющий измерять события конверсии. Например, учитывать пользователей, которые просмотрели веб-страницу, а затем заполнили форму. Подробнее см. в разделе Метрики конверсии.
-
Новое: Вместо полного имени измерения (например,
order__user__country) в выражении группировки или фильтрации теперь достаточно указать основную сущность и имя измерения, напримерuser__county. -
Новое: Теперь вы можете выполнять сохранённые запросы, определённые в Semantic Layer, с помощью Tableau, GraphQL API, JDBC API и CLI dbt.
-
Улучшение: Параметр
labelспецификации YAML теперь доступен для метрик Semantic Layer в JDBC и GraphQL API. Это позволяет удобно использоватьlabelв качестве отображаемого имени метрики при предоставлении доступа к ней. -
Улучшение: Добавлена поддержка
create_metric: trueдля меры — сокращённого способа быстрого создания метрик. Это полезно в случаях, когда метрики используются только для построения других метрик. -
Улучшение: Добавлена поддержка фильтров с параметрами Tableau. С помощью коннектора Tableau можно создавать и использовать параметры для данных Semantic Layer.
-
Улучшение: Добавлена возможность получать
exprиaggдля мер через GraphQL API. -
Улучшение: Улучшены сообщения об ошибках в интерфейсе командной строки при запросе измерения, недоступного для заданной метрики.
-
Улучшение: Теперь можно запрашивать сущности через нашу интеграцию с Tableau (аналогично запросам измерений).
-
Улучшение: В нашей интеграции с Tableau появился новый источник данных под названием "ALL", который содержит все определённые семантические объекты. Он содержит ту же информацию, что и "METRICS_AND_DIMENSIONS". В будущем мы прекратим поддержку "METRICS_AND_DIMENSIONS" в пользу "ALL", чтобы название было понятнее.
-
Исправление: Теперь доступна поддержка числовых типов с точностью больше 38 (например,
BIGDECIMAL) в BigQuery. Ранее такие типы не поддерживались и приводили к ошибке. -
Исправление: В некоторых случаях большие числовые измерения интерпретировались Tableau в научной нотации, из‑за чего их было сложно использовать. Теперь они должны отображаться как обычные числа.
-
Исправление: Теперь значения измерений сохраняются корректно и больше не преобразуются непреднамеренно в строки.
-
Исправление: Устранены проблемы с конфликтами имён в запросах, использующих несколько производных метрик с одинаковыми входными метриками. Ранее это могло вызывать конфликт имён. Теперь входные метрики дедуплицируются и каждая используется только один раз.
-
Исправление: Устранены предупреждения, связанные с использованием двух одинаковых входных measure в производной метрике. Ранее это вызывало предупреждение. Теперь входные measure дедуплицируются, что улучшает обработку запросов и их читаемость.
-
Исправление: Исправлена ошибка, при которой ссылка на сущность в фильтре с использованием объектного синтаксиса не работала. Например,
{{Entity('entity_name')}}не могло быть корректно разрешено.







