Перейти к основному содержимому

Примечания к выпускам платформы dbt за 2023 год

Архив примечаний к выпускам dbt за 2023 год

Декабрь 2023​

  •  Обновления семантического слоя

    Команда dbt Labs продолжает работать над добавлением новых функций, исправлением ошибок и повышением надежности семантического слоя dbt. Следующий список более подробно объясняет обновления и исправления за декабрь 2023 года.

    Исправления ошибок​

    • Интеграция с Tableau — Интеграция семантического слоя dbt с Tableau теперь поддерживает запросы, которые разрешаются в условие "NOT IN". Это относится к использованию "exclude" в интерфейсе фильтрации пользователей. Ранее это не поддерживалось.
    • Поддержка BIGINT — Семантический слой dbt теперь может поддерживать значения BIGINT с точностью более 18. Ранее это вызывало ошибку.
    • Утечка памяти — Исправлена утечка памяти в JDBC API, которая ранее приводила к периодическим ошибкам при запросах.
    • Поддержка преобразования данных — Добавлена поддержка преобразования различных типов данных, специфичных для Redshift и Postgres. Ранее драйвер выдавал ошибку при встрече с колонками таких типов.

    Улучшения​

    • Устаревание — Мы объявили устаревшими метрики dbt и устаревший семантический слой dbt, которые поддерживались в версии dbt 1.5 или ниже. Это изменение вступило в силу 15 декабря 2023 года.
    • Улучшенный инструмент конвертации dbt — Инструмент конвертации dbt теперь может помочь автоматизировать часть работы по конвертации из LookML (язык моделирования Looker) для тех, кто мигрирует. Ранее это не было доступно.
  •  Внешние атрибуты

    Функция расширенных атрибутов в dbt Cloud теперь общедоступна (GA)! Она позволяет на уровне окружения переопределять любые атрибуты YAML, которые адаптер dbt принимает в файле profiles.yml. Вы можете указать фрагмент YAML, чтобы добавить или заменить любое значение профиля.

    Подробнее см. в разделе Расширенные атрибуты.

    Текстовое поле Расширенные атрибуты доступно на странице настроек вашего окружения:

    Пример текстового поля расширенных атрибутовПример текстового поля расширенных атрибутов
  •  Устаревший семантический слой

    dbt Labs объявил устаревшими метрики dbt и устаревший семантический слой dbt, которые поддерживались в версии dbt 1.5 или ниже. Это изменение вступает в силу 15 декабря 2023 года.

    Это устаревание означает, что метрики dbt и устаревший семантический слой больше не поддерживаются. Мы также удалили эту функцию из пользовательского интерфейса dbt Cloud и сайта документации.

    Почему это изменение?​

    Переизданный семантический слой dbt, работающий на MetricFlow, предлагает улучшенную гибкость, производительность и пользовательский опыт, что является значительным шагом вперед для сообщества dbt.

    Ключевые изменения и влияние​

    • Дата устаревания — Устаревание устаревшего семантического слоя и метрик dbt официально произойдет 15 декабря 2023 года.
    • Замена — MetricFlow заменяет метрики dbt для определения семантической логики. Пакет dbt_metrics больше не будет поддерживаться после устаревания.
    • Новая функция — Экспорт заменяет материализацию данных с функциональностью metrics.calculate и будет доступен в dbt Cloud в декабре или январе.

    Ломающее изменения и рекомендации​

    • Для пользователей dbt версии 1.5 и ниже, использующих dbt Metrics и прокси Snowflake:

      • Последствия: После прекращения поддержки запросы, использующие прокси, не будут выполняться.

      • Для пользователей на версии dbt 1.5 и ниже, использующих метрики dbt без прокси Snowflake:

      • Влияние: Никаких немедленных нарушений, но пакет не будет получать обновления или поддержку после устаревания.

      • Рекомендация: Запланируйте миграцию на переизданный семантический слой для совместимости с версиями dbt 1.6 и выше.

      Взаимодействие и поддержка​

    • Обратная связь и поддержка сообщества — Общайтесь с командой dbt Labs и сообществом dbt в Slack и делитесь отзывами в таких каналах, как #dbt-cloud-semantic-layer и #dbt-metricflow. Или свяжитесь с вашим представителем dbt Cloud.

Ноябрь 2023​

  •  Новые возможности и изменения интерфейса в dbt Catalog

    В dbt Cloud появились новые улучшения качества жизни для уведомлений по электронной почте и Slack о ваших заданиях:

    • Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
      • Адреса, которые находятся за пределами вашей учетной записи dbt Cloud
      • Адреса сторонних интеграций для настройки уведомлений для таких сервисов, как Microsoft Teams или PagerDuty
    • Вы можете настраивать уведомления для нескольких каналов Slack. Ранее можно было настраивать только один канал Slack.
    • Теперь любой администратор аккаунта может редактировать уведомления Slack, а не только тот, кто их создал.

    Чтобы узнать больше, ознакомьтесь с Уведомлениями о заданиях.

  •  Уведомления о заданиях

    В dbt Cloud появились новые улучшения качества жизни для уведомлений по электронной почте и Slack о ваших заданиях:

    • Вы можете добавлять внешние адреса электронной почты и отправлять уведомления о заданиях на них. Внешние электронные адреса могут быть:
      • Адреса, которые находятся за пределами вашей учетной записи dbt Cloud
      • Адреса сторонних интеграций для настройки уведомлений для таких сервисов, как Microsoft Teams или PagerDuty
    • Вы можете настраивать уведомления для нескольких каналов Slack. Ранее можно было настраивать только один канал Slack.
    • Теперь любой администратор аккаунта может редактировать уведомления Slack, а не только тот, кто их создал.

    Чтобы узнать больше, ознакомьтесь с Уведомлениями о заданиях.

  •  Кэширование репозитория

    Теперь для планов dbt Cloud Enterprise доступна новая опция для включения кэширования Git-репозитория для ваших запусков заданий. При включении dbt Cloud кэширует Git-репозиторий вашего проекта dbt и использует кэшированную копию, если происходит сбой с поставщиком Git. Эта функция улучшает надежность и стабильность ваших запусков заданий.

    Подробнее см. в разделе Кэширование репозитория.

    Пример опции Repository cachingПример опции Repository caching

Октябрь 2023​

  •  API dbt Cloud

    Начиная с 1 декабря 2023 года, Administrative API версий v2 и v3 требует ограничивать результаты всех методов API для получения списков («list») или методов GET до 100 записей на один запрос к API. Это ограничение повышает эффективность и стабильность наших сервисов. Если вам нужно обработать более 100 записей, используйте параметры запроса limit и offset для постраничного получения результатов; в противном случае вы получите ошибку.

    Это ограничение максимального количества результатов применяется только к многопользовательским экземплярам (multi-tenant) и не применяется к однопользовательским экземплярам (single-tenant).

    Подробнее о том, как реализовать пагинацию ответов API, см. разделы API v3 Pagination или API v2 Pagination.

  •  dbt CLI

    Мы рады объявить о выпуске dbt CLI — унифицированной командной строки для dbt, которая доступна в режиме публичного превью. Это локальная среда разработки, работающая на базе dbt Cloud. Начать работу очень просто: выполните pip3 install dbt или brew install dbt, и вы готовы к работе.

    Мы продолжим инвестировать в IDE dbt Cloud как в самый простой и доступный способ начать использовать dbt, особенно для аналитиков данных, которые никогда не разрабатывали программное обеспечение с использованием командной строки. Мы будем продолжать улучшать скорость, стабильность и богатство функций IDE, как мы это делали весь год.

    Мы также знаем, что многие люди, разрабатывающие в dbt, предпочитают локальную разработку, где они могут использовать свой любимый терминал, текстовый редактор, сочетания клавиш, цветовую схему и так далее. Это включает людей с опытом в области инженерии данных, а также тех аналитических инженеров, которые начали писать код в IDE dbt Cloud и расширили свои навыки.

    Новый интерфейс командной строки dbt (CLI) объединяет лучшее из обоих подходов и предлагает:

    • Возможность разработки на платформе dbt Cloud
    • Гибкость вашей локальной настройки

    Запускайте любые плагины, разработанные сообществом, хуки предварительного коммита или другие произвольные скрипты, которые вам нравятся.

    Некоторые из уникальных возможностей этого dbt CLI включают:

    • Автоматическое откладывание (deferral) артефактов сборки в production-окружение вашего проекта в Cloud
    • Безопасное хранение учетных данных на платформе dbt Cloud
    • Поддержку dbt Mesh (межпроектные ref) (cross-project ref)
    • Рабочий процесс разработки для dbt Semantic Layer
    • Более быстрые и менее затратные сборки

    Подробнее см. в разделе dbt CLI.

  •  Исправление пользовательской ветки

    Если вы не зададите пользовательскую ветку для своей среды dbt Cloud, теперь по умолчанию будет использоваться ветка по умолчанию вашего Git-репозитория (например, main). Ранее, если параметр Custom Branch не был задан, задания CI запускались для запросов на слияние (PR), открытых в любую ветку или обновлённых новыми коммитами.

    Azure DevOps​

    Ваши запросы на вытягивание (PR) могут не срабатывать против вашей ветки по умолчанию, если вы используете Azure DevOps, и ветка по умолчанию не является main или master. Чтобы решить эту проблему, установите пользовательскую ветку с веткой, которую вы хотите нацелить.

  •  Автоустановка dbt deps

    dbt Cloud IDE и dbt CLI теперь автоматически выполняют dbt deps при запуске окружения или при необходимости. Ранее во время инициализации инструмент предлагал пользователю вручную запустить dbt deps.

    Этот улучшенный рабочий процесс доступен всем пользователям многоарендного dbt Cloud (поддержка одноарендных пользователей появится на следующей неделе) и применяется к версиям dbt.

    Тем не менее, вам все равно следует запускать команду dbt deps в следующих ситуациях:

    • Когда вы вносите изменения в файл packages.yml или dependencies.yml во время сеанса
    • Когда вы обновляете версию пакета в файле packages.yml или dependencies.yml.
    • Если вы редактируете файл dependencies.yml, и количество пакетов остается прежним, запустите dbt deps. (Обратите внимание, что это известная ошибка, которую dbt Labs исправит в будущем.)
  •  Поддержка повторных попыток

    Ранее в dbt Cloud вы могли только перезапустить задание с ошибкой с самого начала, но теперь вы также можете перезапустить его с точки его сбоя.

    Вы можете увидеть, какое задание не удалось завершить успешно, какая команда не удалась на этапе выполнения и выбрать, как его перезапустить. Чтобы узнать больше, обратитесь к Повторным попыткам заданий.

    Пример опций повторного запуска в dbt CloudПример опций повторного запуска в dbt Cloud
  •  Обновления документации продукта

    Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Во-первых, мы хотели бы поблагодарить 15 новых участников сообщества, которые внесли вклад в docs.getdbt.com. Мы объединили 107 PR в сентябре.

    Вот что нового на docs.getdbt.com:

    • Перенос документации с Netlify на Vercel.

    ☁ Проекты Cloud​

    🎯 Проекты Core​

    • Документация для dbt Core v1.0 и v1.1 помечена как устаревшая.

      • Добавлены инструкции по настройке плагина AWS Glue, поддерживаемого сообществом.
      • Переработано краткое руководство по началу работы с dbt Core, чтобы упростить его использование. Руководство разделено на шаги по аналогии с другими руководствами.

      Новые 📚 Руководства, ✏️ блог-посты и FAQ​

      Добавлен шаблон стиля, который вы можете скопировать и вставить, чтобы убедиться, что вы соблюдаете лучшие практики при стилизации проектов dbt!

      Предстоящие изменения​

      Ожидайте множество релизов в октябре и фильтруемый раздел руководств, который упростит поиск руководств!

  •  Семантический слой GA

    Если вы используете устаревший Semantic Layer, мы настоятельно рекомендуем обновить версию dbt до dbt v1.6 или выше и перейти на новейшую версию Semantic Layer.

    dbt Labs с радостью объявляет, что семантический слой dbt теперь доступен в общем доступе. Он предлагает последовательную организацию данных, улучшенное управление, сниженные затраты, повышенную эффективность и доступные данные для лучшего принятия решений и сотрудничества в организациях.

    Он направлен на то, чтобы принести лучшее из моделирования и семантики в downstream-приложения, вводя:

    • Совершенно новые интеграции, такие как Tableau, Google Sheets, Hex, Mode и Lightdash.

      • Новые API семантического слоя, использующие GraphQL и JDBC для запроса метрик и создания интеграций.
      • Поддержка мультитенантных региональных развертываний dbt Cloud для Северной Америки, EMEA и APAC. Поддержка однотенантных развертываний появится в ближайшее время.
      • Скоро — Запуск экспорта по расписанию (способ создания таблиц на вашей платформе данных) в рамках задания dbt Cloud. Используйте API для запуска экспорта, а затем получайте доступ к экспортированным данным в предпочитаемом BI-инструменте.
      Используйте универсальный семантический слой dbt для определения и запроса метрик в интегрированных инструментах.Используйте универсальный семантический слой dbt для определения и запроса метрик в интегрированных инструментах.

      Семантический слой dbt доступен в мультитенантных развертываниях на тарифах dbt Cloud Team или Enterprise при использовании dbt версии 1.6 или выше.

      • Клиенты тарифов Team и Enterprise могут выполнять 1 000 запросов метрик (Queried Metrics) в месяц без дополнительной платы в рамках ограниченного пробного периода с учетом ограничений разумного использования. Подробнее см. в разделе Оплата.
      • Пользователи тарифа dbt Developer и пользователи dbt v1 могут определять метрики, но не смогут запрашивать их через интегрированные инструменты.

Сентябрь 2023​

  •  Обновления CI

    Теперь в dbt Cloud есть два отдельных типа jobs: deploy jobs для сборки production data assets и jobs для continuous integration (CI) для проверки изменений кода. Эти jobs выполняют принципиально разные задачи, поэтому dbt Labs улучшила процесс настройки, добавив более удачные настройки по умолчанию для каждого типа.

    Благодаря двум типам jobs вместо одного универсального типа мы можем лучше проводить вас через процесс настройки. Best practices встроены в настройки по умолчанию, поэтому вы можете перейти от интереса к готовой настройке за считанные секунды.

    Кроме того, сравнение состояний при проверках CI стало эффективнее: больше не нужно тратить ресурсы на сборку или тестирование кода, который не изменился. Теперь мы эффективнее сравниваем код из pull request (PR) в Git с кодом, работающим в продакшене, благодаря возможности использовать состояние окружения, а не задания, для отложенного разрешения ссылок (deferral). Подробнее см. в разделе Непрерывная интеграция в dbt.

    Ниже — сравнительная таблица, описывающая, чем отличаются deploy jobs и CI jobs:

    Deploy JobsCI Jobs
    НазначениеСобирает production data assets.Собирает и тестирует новый код перед merge изменений в production.
    Типы триггеровЗапускается по расписанию или через API.Запускается коммитом в PR или через API.
    Место сборкиСобирает в production database и schema.Собирает в staging database и ephemeral schema, существующую на протяжении жизни PR.
    Режим выполненияЗапускает execute последовательно, чтобы не было коллизий на базовом DAG.Запускает execute параллельно, чтобы ускорять работу команд.
    Экономия запусковОпределяет избыточно запланированные jobs и отменяет лишние запуски, чтобы не забивать очередь.Отменяет текущие запуски, когда пушится более новый коммит, чтобы избежать повторной работы.
    Сравнение stateЛишь иногда требуется определять state.Почти всегда нужно сравнивать state с production environment, чтобы собирать измененный код и его зависимости.

    Что нужно обновить​

    • Если вы хотите настроить CI environment для ваших jobs, dbt Labs рекомендует создать CI job в отдельном deployment environment, который подключен к staging database. Подробнее о best practices для environments см. руководство Get started with continuous integration tests.

    • Если вы настроили CI job до 2 октября 2023, после этого обновления job могла быть ошибочно классифицирована как deploy job. Ниже описано, как исправить тип job:

    Если вы использовали API endpoint Create Job, но не указали "triggers":triggers.git_provider_webhook, job была классифицирована как deploy job, и вам нужно пересоздать ее, как описано в Trigger a CI job with the API.

    Если вы использовали интерфейс dbt, но не включили опцию Run on Pull Requests, которая находилась на вкладке Continuous Integration (CI), задание было ошибочно классифицировано как задание развертывания, и его необходимо создать заново, как описано в разделе Настройка заданий CI.

    Чтобы проверить тип задания, просмотрите свои задания CI в истории запусков dbt и проверьте наличие метки CI Job под названием задания. Если этой метки нет, задание было ошибочно классифицировано и его необходимо создать заново.

    CI update phase 3 — Обновление: улучшено автоматическое удаление временных схем

    Временные схемы теперь автоматически удаляются (drop) для всех адаптеров (например, Databricks), подключений PrivateLink и переменных окружения в connection strings.

    dbt Labs переработала архитектуру удаления схем для запусков continuous integration (CI). Мы создали новый сервис, который удаляет любую schema с префиксом dbt_cloud_pr_, созданную PR-запуском.

    Однако временные схемы не будут удаляться автоматически, если:

    • Ваш проект переопределяет макрос generate_schema_name, но в нем нет требуемого префикса dbt_cloud_pr_. Подробности см. в разделе Troubleshooting.
    • Вы используете ненативную интеграцию Git. Это связано с тем, что автоматическое удаление зависит от входящих webhook’ов от провайдеров Git, а это доступно только через нативные интеграции.
  •  Обновления продуктовой документации

    Привет от команды Product Documentation в dbt (той самой, которая отвечает за сайт docs.getdbt.com): @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun. Каким насыщенным выдалось лето! Мы смёрджили 256 PR в период с 1 июля по 31 августа.

    Мы хотим отметить вклад и поддержку со стороны нашей партнерской команды Developer Experience: @jasnonaz @gwenwindflower @dbeatty10 @dataders @joellabes @Jstein77 @dave-connors-3!

    Также выражаем особую благодарность 22 участникам сообщества, которые впервые внесли вклад в dbt Product docs. На основе обратной связи от сообщества dbt мы внесли следующие изменения:

  •  Удаление prerelease-версий

    Ранее, когда dbt Labs выпускала новую версию в dbt Cloud, предыдущая предварительная версия исправления и последняя версия оставались доступными для выбора в раскрывающемся меню в разделе Настройки окружения. Теперь при выпуске последней версии предварительная версия будет удаляться, а все клиенты, которые всё ещё её используют, будут автоматически переведены на новую версию. Этот переход не приведёт к перебоям в работе сервиса.

    Чтобы посмотреть, какую версию вы используете сейчас, и выполнить обновление, выберите Deploy в верхней навигации и откройте Environments. Выберите нужное окружение и нажмите Settings. Нажмите Edit, чтобы изменить текущую версию dbt. dbt Labs рекомендует по возможности всегда использовать последнюю версию, чтобы получать доступ к новым функциям и возможностям.

Август 2023​

  •  Прекращение поддержки конечных точек Discovery API

    dbt Labs уже объявила некоторые шаблоны запросов устаревшими и продолжит этот процесс, заменяя их новыми подходами для повышения производительности Discovery API в dbt Cloud.

    Все эти изменения вступят в силу 7 сентября 2023 года.

    Мы понимаем, что эти изменения могут потребовать корректировок в ваших существующих интеграциях с Discovery API. Пожалуйста, свяжитесь с нами, если у вас возникнут вопросы. Мы готовы помочь вам в этот переходный период.

    Запросы на основе вакансий​

    Job-based запросы, использующие тип данных Int для ID, будут объявлены устаревшими. Они будут помечены как deprecated в GraphQL explorer. Новое соглашение предполагает использование типа данных BigInt.

    Это изменение вступит в силу с 7 сентября 2023 года.

    Пример запроса до объявления устаревшим:

    query ($jobId: Int!) {
    models(jobId: $jobId){
    uniqueId
    }
    }

    Пример запроса после объявления устаревшим:

    query ($jobId: BigInt!) {
    job(id: $jobId) {
    models {
    uniqueId
    }
    }
    }

    Запросы modelByEnvironment​

    Объект modelByEnvironment был переименован и перемещён внутрь объекта environment. Это изменение уже действует с 15 августа 2023 года.

    Пример запроса до объявления устаревшим:

    query ($environmentId: Int!, $uniqueId: String) {
    modelByEnvironment(environmentId: $environmentId, uniqueId: $uniqueId) {
    uniqueId
    executionTime
    executeCompletedAt
    }
    }

    Пример запроса после объявления устаревшим:

    query ($environmentId: BigInt!, $uniqueId: String) {
    environment(id: $environmentId) {
    applied {
    modelHistoricalRuns(uniqueId: $uniqueId) {
    uniqueId
    executionTime
    executeCompletedAt
    }
    }
    }
    }

    Запросы к средам и аккаунтам​

    Запросы к окружениям и аккаунтам, использующие тип Int для ID, объявлены устаревшими. Теперь ID должны передаваться в формате BigInt. Это изменение действует с 15 августа 2023 года.

    Пример запроса до объявления устаревшим:

    query ($environmentId: Int!, $first: Int!) {
    environment(id: $environmentId) {
    applied {
    models(first: $first) {
    edges {
    node {
    uniqueId
    executionInfo {
    lastRunId
    }
    }
    }
    }
    }
    }
    }

    Пример запроса после объявления устаревшим:

    query ($environmentId: BigInt!, $first: Int!) {
    environment(id: $environmentId) {
    applied {
    models(first: $first) {
    edges {
    node {
    uniqueId
    executionInfo {
    lastRunId
    }
    }
    }
    }
    }
    }
    }
  •  dbt Cloud IDE v1.2

    Мы рады сообщить, что заменили backend‑сервис, на котором работает Cloud IDE, на более надёжный сервер — dbt-server. Поскольку этот релиз содержит фундаментальные изменения, IDE v1.2 требует dbt v1.6 или выше. Это значимое обновление следует за переработкой frontend‑части IDE в прошлом году. Мы продолжаем улучшать IDE, чтобы обеспечить вам более качественный опыт работы.

    Ранее Cloud IDE использовала dbt-rpc — устаревший сервис, который не успевал за изменениями в dbt-core. Интеграция dbt-rpc опиралась на legacy entry points и систему логирования dbt-core, из‑за чего была медленной, хрупкой и плохо тестируемой. Команда Core была вынуждена учитывать эти ограничения, чтобы не нарушить работу сервиса, что мешало разработке с высокой скоростью и уверенностью.

    Новые возможности​

    • Лучшая совместимость с dbt-core: Cloud IDE теперь лучше поддерживает команды dbt-core, включая dbt list, а также улучшенную работу с флагами --vars, --fail-fast и другими.
    • Повышенная поддерживаемость: С новым dbt-server стало проще исправлять ошибки и повышать общее качество продукта. В dbt-rpc исправление багов было трудоёмким и требовало обширного тестирования. Новый сервис позволяет находить и устранять проблемы быстрее, делая IDE более стабильной и надёжной.
    • Более надёжный сервис: Упрощённая архитектура, менее подверженная сбоям.

    Улучшения продукта​

    • Улучшенные возможности Preview при использовании Core v1.6 + IDE v1.2. Подробности — в этом Loom-видео.

    Исправления ошибок​

    • Глобальная страница могла становиться «инертной» и переставать обрабатывать клики
    • Переключение между файлами в режиме git diff могло приводить к перезаписи
    • Браузер зависал при предпросмотре markdown-документов с большими таблицами
    • Контекстное меню редактора (right click) отображалось со смещением
    • Невозможно отменить действие в компоненте Save New File при закрытии всех файлов в IDE
    • Мерцание мыши в дереве файлов модального окна затрудняло выбор папки для сохранения нового файла
    • Snapshots не отображались в Lineage при нахождении в подпапке и смешанном регистре имени
    • Подсказки (tooltips) не работали для Format и Save
    • При выполнении dbt или парсинге попытка переключить ветку приводила к автоматическому закрытию выпадающего списка Git Branch

    Известные проблемы​

    • Функция {{this}} некорректно отображается в preview/compile при использовании dbt-server

Июль 2023​

  •  Более быстрые запуски и неограниченная параллельность заданий для аккаунтов Enterprise

    Мы внедрили значительные улучшения в планировщик dbt Cloud, повысив производительность, надёжность и масштабируемость.

    Узнайте подробнее о том, как получить более быстрый старт запусков и как пользователи Enterprise теперь могут выполнять неограниченное количество заданий параллельно.

    Более быстрый старт запусков​

    Планировщик отвечает за подготовку каждого задания dbt Cloud к запуску в вашей облачной платформе данных. Эта подготовка включает создание Kubernetes-пода с нужной версией dbt, настройку переменных окружения, загрузку учётных данных платформы данных, авторизацию git-провайдера и другие задачи по настройке окружения. Только после этого начинается выполнение dbt. В dbt Cloud это время отображается пользователю как «prep time».

    Планировщик подготавливает задание к выполнению и отображает это как 'prep time' в dbt Cloud.Планировщик подготавливает задание к выполнению и отображает это как 'prep time' в dbt Cloud.

    Несмотря на все преимущества Kubernetes, у него есть и сложности — в частности, управление подами может влиять на время запуска заданий. Мы переработали планировщик, обеспечив более быстрый запуск за счёт пула уже готовых подов для выполнения заданий клиентов. Это означает, что вы больше не столкнётесь с длительным временем подготовки в начале часа, и мы стремимся к тому, чтобы запуски начинались практически мгновенно. Не верьте нам на слово — посмотрите на данные сами.

    Время подготовки заданий сократилось на 75% с января 2023 по июль 2023. В январе prep time составляло 106 секунд, а к июлю — 27 секунд.Время подготовки заданий сократилось на 75% с января 2023 по июль 2023. В январе prep time составляло 106 секунд, а к июлю — 27 секунд.

    Ранее задания, запланированные на начало часа, требовали более 106 секунд на подготовку из-за большого количества запусков, обрабатываемых планировщиком. Теперь даже при увеличившемся числе запусков мы сократили максимальное время подготовки до 27 секунд — это ускорение на 75% в периоды пиковой нагрузки!

    Неограниченная параллельность заданий для аккаунтов Enterprise​

    Обновлённый планировщик обеспечивает большую надёжность и позволяет пользователям без усилий запускать задания.

    Это означает, что Enterprise-аккаунты в мультиарендной среде теперь могут пользоваться преимуществами неограниченной параллельности заданий. Ранее такие аккаунты были ограничены фиксированным числом слотов запусков, а теперь они могут работать без подобных ограничений. Поддержка single-tenant будет добавлена в ближайшее время.

    Важно учитывать, что каждое выполняющееся задание занимает один слот на всё время своего выполнения, и если все слоты заняты, новые задания будут поставлены в очередь.

    Подробнее о возможностях см. на странице тарифов dbt.

    Обратите внимание: аккаунты Team, созданные после июля 2023 года, также получают неограниченную параллельность заданий:

    • Legacy-аккаунты Team имеют фиксированное количество слотов запусков.
    • Планы Team и Developer ограничены одним проектом. Для задач большего масштаба наш план Enterprise предлагает такие возможности, как аудит логов, неограниченная параллельность заданий и проектов и многое другое.

Июнь 2023​

  •  Линтинг и форматирование

    dbt Labs с радостью объявляет, что теперь вы можете выполнять линтинг и форматирование dbt-кода прямо в dbt Cloud IDE. Это улучшенный workflow разработки, который позволяет без лишних усилий уделять приоритет качеству кода.

    Линтинг и форматирование доступны для пяти типов файлов: SQL, YAML, Markdown, Python и JSON.

    Для SQL-файлов вы можете легко выполнять линтинг и форматирование с помощью SQLFluff и применять единый стиль форматирования с использованием sqlfmt. Кроме того, для других типов файлов — YAML, Markdown, JSON и Python — вы можете использовать соответствующие инструменты на базе Prettier и Black, чтобы обеспечить чистое и стандартизированное форматирование кода.

    Подробнее читайте в разделе Проверка и форматирование кода.

    Используйте SQLFluff для проверки и форматирования SQL-кода и просматривайте ошибки кода на вкладке Code Quality.Используйте SQLFluff для проверки и форматирования SQL-кода и просматривайте ошибки кода на вкладке Code Quality.
    Используйте sqlfmt для форматирования SQL-кода.Используйте sqlfmt для форматирования SQL-кода.
    Форматируйте файлы YAML, Markdown и JSON с помощью Prettier.Форматируйте файлы YAML, Markdown и JSON с помощью Prettier.
  •  Обновления CI

    CI в dbt Cloud — это ключевая часть workflow аналитической инженерии. Крупные команды полагаются на выстроенные процессы, чтобы поддерживать высокое качество кода, и используют dbt Cloud CI для автоматизации тестирования изменений эффективным образом — сохраняя высокую скорость работы без снижения стандартов. Благодаря статус-чекам, которые напрямую публикуются в PR в dbt, разработчики получают уверенность в том, что их изменения будут корректно работать в продакшене. А когда вы привыкнете видеть зелёную галочку в PR, работать иначе уже не захочется.

    CI-проверки напрямую из GitCI-проверки напрямую из Git

    В отличие от других CI-провайдеров, dbt CI отслеживает состояние того, что выполняется в вашей производственной среде. Благодаря этому при запуске задания CI в промежуточной схеме создаются и тестируются только изменённые в вашем pull request ресурсы данных и зависящие от них нижестоящие ресурсы. dbt стремится сделать каждую проверку CI максимально эффективной, чтобы не расходовать ресурсы хранилища данных впустую. Как только запуск CI завершается, его статус публикуется непосредственно в PR в GitHub, GitLab или Azure DevOps — в зависимости от того, какого Git-провайдера вы используете. Команды могут настроить ограничения, позволяющие одобрять слияние только тех PR, которые успешно прошли проверки CI. При этом процесс проверки коллегами значительно упрощается, поскольку dbt выполняет первый этап тестирования.

    Мы рады представить несколько важных возможностей dbt CI, которые повысят продуктивность и улучшат совместную работу вашей команды в процессе тестирования и интеграции. Начиная с этой недели вы можете:

    • Запускать несколько CI-проверок параллельно. Если несколько участников почти одновременно вносят изменения в один и тот же dbt-проект, последующие CI-проверки больше не ждут завершения предыдущих — они выполняются параллельно.

    • Автоматическая отмена устаревших запусков CI. Если вы отправите несколько коммитов в один и тот же PR, dbt автоматически отменит предыдущие проверки CI, которые уже потеряли актуальность. Ресурсы не будут тратиться на проверку устаревшего кода.

      • Запускать CI-проверки без блокировки продакшен-запусков. CI-проверки больше не занимают run-слоты, что позволяет запускать любое количество CI-задач без влияния на продакшен-джобы.

      Подробнее см. разделы Непрерывная интеграция и CI-задания.

  •  Admin API

    dbt Labs обновила документацию по административному API dbt Cloud, и теперь она доступна как для v2, так и для v3.

    • Теперь используется Spotlight для улучшения пользовательского интерфейса и удобства работы.
    • Теперь задокументированы все эндпоинты v2 и v3. Добавлена автоматизация, чтобы документация оставалась актуальной.
    • Описаны тела многих запросов и ответов.
    • Теперь вы можете тестировать эндпоинты прямо в документации API. Кроме того, вы можете выбрать, какой региональный сервер использовать (Северная Америка, APAC или EMEA).
    • Благодаря новому интерфейсу стало проще генерировать код для любого эндпоинта.
  •  Обновления продуктовой документации

    Привет от команды dbt Docs: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! В первую очередь мы хотим поблагодарить 17 новых контрибьюторов сообщества docs.getdbt.com — ✨ @aaronbini, @sjaureguimodo, @aranke, @eiof, @tlochner95, @mani-dbt, @iamtodor, @monilondo, @vrfn, @raginjason, @AndrewRTsao, @MitchellBarker, @ajaythomas, @smitsrr, @leoguyaux, @GideonShils, @michaelmherrera!

    Вот что нового появилось на docs.getdbt.com в июне:

    ☁ Cloud-проекты​

Май 2023​

  •  dbt Cloud IDE

    Чтобы сделать разработку в Cloud IDE ещё удобнее, команда dbt Labs продолжает добавлять новые функции, исправлять ошибки и повышать надёжность ✨.

    Следите за обновлениями, связанными с IDE, в разделе IDE-related changes.

    Новые возможности​

    • Проверка кода с помощью SQL Fluff теперь доступна в бета-версии (общая доступность ожидается в течение следующих 2–3 недель)

      • Форматируйте файлы markdown с помощью prettier
      • Используйте сочетания клавиш для удобства разработки, включая Ctrl + ` (показать или скрыть панель истории), CMD + Option + / (добавить или убрать блочный комментарий), CMD + Shift + P (открыть палитру команд), Option + W (закрыть вкладку редактора)
      • Отображайте имя родительской папки для файлов с одинаковыми именами в разделе Changes
      • Быстро осваивайте новые возможности IDE с помощью справочной страницы об интерфейсе IDE
      • Используйте top X в SQL при предварительном просмотре в IDE
      • В течение последнего месяца можно было по желанию подключиться к новому серверному слою IDE (пока ещё с dbt-rpc). Бета-версия будет готова позднее в июне!

      Улучшения продукта​

    • Улучшения производительности:

      • Время холодного запуска сокращено более чем на 60%
      • Время отрисовки модальных окон в IDE сокращено на 98%
      • Повышена производительность IDE при работе с dbt Core v1.5+ (интерфейс стал быстрее и отзывчивее — настоятельно рекомендуем обновить версию dbt!)
      • sqlfmt (инструмент, используемый кнопкой Format) обновлён до версии 0.18.0
      • Кнопка Build обновлена: теперь пункты меню меняются в зависимости от типа файла или модели (snapshot, macro и т. д.)
      • Добавлено сообщение с предложением отключить блокировщик рекламы при ошибке загрузки содержимого файла
      • Кнопка Format перемещена на панель консоли
      • В IDE внесено множество улучшений безопасности

      Исправления ошибок​

      • Размеры иконок файлов больше не «ломаются» на маленьких экранах
      • Toast-уведомления больше не перекрывают меню командной строки
      • Всплывающая информация при наведении в редакторе больше не обрезается
      • Переход между файлом и недавно изменённым scratchpad больше не вызывает ошибок в консоли
      • IDE теперь доступна для dbt v1.5+
      • Кнопка Confirm в модальном окне Unsaved Changes теперь корректно закрывает окно
      • Длинные имена нод больше не выходят за границы в разделе parsed logs панели истории
      • Status pill в панели истории больше не масштабируется при длинных командах
      • Tooltip вкладки с длинным именем файла больше не обрезается
      • Кнопка Lint больше не доступна в main-ветке
  •  Улучшения истории запусков

    В dbt Cloud стали доступны новые улучшения удобства использования и дизайна дашборда Run History. Эти изменения помогают быстрее находить нужную информацию за счёт сокращения количества кликов, вывода более релевантных данных, сохранения состояния потока (flow state) и более интуитивного интерфейса.

    Основные моменты:

    • Улучшения удобства для CI-запусков: ссылки на ветку, PR и commit SHA, а также более наглядные имена временных схем
    • Предпросмотр сообщений об ошибках при наведении
    • Ссылки на окружение
    • Более понятные иконки статусов запусков
    • Более явное указание причины запуска (API, по расписанию, pull request, запуск пользователем)
    • Дополнительная информация о времени запуска при наведении
    • Отображение таймаута запуска

    dbt Labs также меняет политику хранения и получения метаданных для истории запусков в dbt Cloud.

    Начиная с 1 июня 2023 года разработчики, использующие мультитенантное приложение dbt, смогут самостоятельно получать доступ к истории запусков своей учетной записи через пользовательский интерфейс (UI) и API dbt только за последние 365 дней. Более раннюю историю запусков можно будет скачать, обратившись в службу поддержки клиентов. Мы стремимся минимизировать объем хранимых метаданных и при этом максимально повысить производительность приложения.

    В частности, все GET-запросы к эндпоинту dbt Cloud Runs будут возвращать информацию о запусках, артефактах, логах и шагах выполнения только за последние 365 дней. Аналогично, в интерфейсе dbt Cloud будет отображаться история запусков лишь за этот период.

    Интерфейс dbt Cloud с историей запусковИнтерфейс dbt Cloud с историей запусков

    Более старая история запусков будет храниться в холодном хранилище и может быть предоставлена клиентам по запросу. Чтобы получить данные о старых запусках, свяжитесь со службой поддержки по адресу support@getdbt.com или воспользуйтесь чатом в приложении dbt Cloud, нажав на иконку ? в интерфейсе.

  •  Улучшения деталей запусков и логов

    В dbt Cloud также стали доступны новые улучшения удобства использования и дизайна страницы деталей запуска и логов. Возможность быстро разбирать ошибки в логах — одно из ключевых преимуществ использования джобов и планировщика dbt Cloud. Эти обновления значительно упрощают поиск первопричин ошибок.

    Основные изменения:

    • Отображение состояния предупреждения (warn) на уровне шага запуска
    • Поиск по логам
    • Более удобное обнаружение ошибок и предупреждений в логах
    • Ленивую загрузку логов, благодаря чему страница деталей запуска загружается быстрее и ощущается более производительной
    • Более чистый и аккуратный интерфейс с улучшенной иконографией
    • Полезные подсказки (tooltips)
  •  Обновления продуктовой документации

    Привет от команды dbt Docs: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! В первую очередь хотим поблагодарить 13 новых контрибьюторов сообщества docs.getdbt.com!

    Вот что нового появилось на docs.getdbt.com в мае:

    🔎 Обнаруживаемость​

Апрель 2023​

  •  dbt Cloud IDE

    Новые функции​

    • Новое предупреждающее сообщение предлагает вам вызвать dbt deps, когда это необходимо (как сообщается dbt-score).
    • Новое предупреждающее сообщение появляется, когда вы выбираете модели, но не сохраняете их перед нажатием Сборка или вызовом dbt (например, dbt build/run/test).
    • Предварительные просмотры файлов Markdown и CSV теперь доступны в консоли IDE.
    • Меню дерева файлов теперь включает опцию Дублировать файл.
    • Отображение времени загрузки при предварительном просмотре модели.

    Усовершенствования продукта​

    • Улучшение опыта автозаполнения, который работал медленно для людей с большими проектами и которые реализуют ограничение на максимальный manifest.json для этой функции.
    • Введение постраничной навигации для представления сводки узлов вызова (отображение 100 узлов за раз).
    • Улучшение рендеринга для раздела Изменения / Контроль версий IDE.
    • Обновление значков для согласованности в dbt Cloud.
    • Добавление поддержки таблиц для предварительного просмотра Markdown.
    • Возвращение вкладки родословной для ресурсов seed в IDE.
    • Реализация приоритета модальных окон, когда есть несколько предупреждающих модальных окон.
    • Улучшение описания сложной команды в палитре команд.

    Исправления ошибок​

    • Дерево файлов больше не сворачивается при первом нажатии, когда определена подкатегория проекта.
    • Кнопка Отменить все теперь работает, как ожидалось.
    • Предварительный просмотр CSV больше не завершается с ошибкой при наличии только одного столбца.
    • Положение курсора и полосы прокрутки теперь сохраняются.
    • Представление git diff теперь показывает только изменения и больше не показывает полный дифф, пока страница не обновится.
    • Команда ToggleMinimap больше не запускает другую команду одновременно.
    • Представление git diff больше не показывает бесконечные вращения в определенных сценариях (новый файл и т. д.).
    • Содержимое файла больше не смешивается при использовании представления diff, если один файл имеет несохраненные изменения.
    • YML родословная теперь отображает модель без тестов (в dbt Core v1.5 и выше).
    • Радиокнопки для Сводки и Детали в разделе журналов теперь последовательно обновляются, чтобы показать точный выбор вкладки.
    • IDE больше не выдает ошибку консоли Error: Illegal argument и не перенаправляет на страницу Что-то пошло не так.
  •  Обновления API

    Начиная с 15 мая 2023 года, мы будем поддерживать только следующую функциональность order_by для эндпоинта List Runs:

    • id и -id
    • created_at и -created_at
    • finished_at и -finished_at

    Мы рекомендуем вам изменить ваши API-запросы на https://<YOUR_ACCESS_URL>/api/v2/accounts/{accountId}/runs/, чтобы использовать поддерживаемый order_by до этой даты.

    URL-адреса доступа

    dbt Cloud размещается в нескольких регионах по всему миру, и для каждого региона используется свой URL для доступа. Пользователи тарифных планов Enterprise могут выбрать любой из этих регионов для размещения своей учетной записи. Полный список доступных URL для доступа к dbt Cloud приведен в разделе Регионы и IP-адреса.

    Для получения дополнительной информации обратитесь к нашей документации.

  •  Оптимизация планировщика

    Планировщик dbt Cloud теперь предотвращает засорение очереди, отменяя ненужные запуски чрезмерно запланированных заданий.

    Длительность выполнения задания, как правило, увеличивается со временем, обычно из-за увеличения объема данных в хранилище. Если длительность выполнения становится больше, чем частота расписания задания, очередь будет расти быстрее, чем планировщик сможет обрабатывать запуски задания, что приведет к runaway-очереди с запусками, которые не нужно обрабатывать.

    Ранее, когда задание находилось в этом состоянии чрезмерного планирования, планировщик останавливал постановку в очередь запусков после того, как 50 уже находились в очереди. Это приводило к плохому пользовательскому опыту, когда планировщик отменял запуски без разбора. Вам нужно было войти в dbt Cloud, чтобы вручную отменить все запланированные запуски и изменить расписание задания, чтобы "разблокировать" очередь планировщика.

    Теперь планировщик dbt Cloud обнаруживает, когда запланированное задание настроено на слишком частый запуск, и соответственно отменяет запуски, которые не нужно обрабатывать. В частности, запланированные задания могут иметь только один запуск задания в очереди, и если более новый запуск попадает в очередь, более ранний запланированный запуск будет отменен с полезным сообщением об ошибке. Пользователи все равно должны либо переработать задание, чтобы оно выполнялось быстрее, либо изменить расписание задания, чтобы оно выполнялось реже, если задание часто попадает в состояние чрезмерного планирования.

  •  Starburst адаптер GA

    Подключение Starburst (совместимое с Trino) теперь общедоступно (Generally Available) в dbt Cloud. Это означает, что теперь вы можете использовать dbt Cloud для подключения к Starburst Galaxy, Starburst Enterprise и самостоятельно развернутому Trino. Эта возможность реализована на базе адаптера dbt-trino. Подробнее см. в нашем руководстве по быстрому старту для dbt Cloud и Starburst Galaxy.

  •  Обновления документации продукта

    Привет от команды документации dbt: @mirnawong1, @matthewshaver, @nghi-ly и @runleonarun! Мы хотим поделиться некоторыми основными моментами, представленными в docs.getdbt.com за последний месяц:

    🔎 Обнаружимость​

    • Документация по API теперь доступна в левой боковой панели, чтобы её было проще найти.

      • Боковая панель раздела о развёртывании заданий dbt преобразилась 💅: раздел «О развёртывании» теперь разделён на два направления (развёртывание с помощью dbt Cloud и развёртывание с помощью других инструментов), добавлены подробности о планировщике dbt Cloud, его возможностях и создании заданий, а также рекомендации по развёртыванию с помощью ADF. Надеемся, что эти изменения сделают документацию удобнее и помогут пользователям при развёртывании с помощью других инструментов.

      ☁ Проекты Cloud​

    • Добавлена документация по адаптеру Starburst/Trino, в том числе:

Март 2023​

  •  Устаревание dbt v1.0

    dbt Cloud теперь требует версию dbt 1.0 или выше. С 1 марта 2023 года мы удалили все экземпляры более старых версий dbt из dbt Cloud.

    Все окружения или задания, настроенные с версией dbt ниже 1.0, были автоматически обновлены до dbt v1.4, которая является последней минорной версией, доступной в dbt Cloud.

    Подробнее о версиях и выпусках dbt, а также о сроках поддержки в dbt Cloud см. в разделе О версиях dbt Core.

    Ознакомьтесь с дополнительной информацией и ресурсами, которые помогут вам обновить вашу версию dbt:

  •  dbt Cloud IDE

    Чтобы и дальше улучшать процесс разработки в Cloud IDE, команда dbt Labs продолжает добавлять новые функции, исправлять ошибки и повышать надежность ✨.

    Подробнее читайте о предстоящих улучшениях Cloud IDE и следите за всеми изменениями, связанными с IDE.

    Новые функции​

    • Создавайте коммиты и отменяйте изменения для отдельных файлов в разделе Version Control.

      • Используйте палитру команд для вызова распространённых сложных команд dbt, например для возобновления выполнения с места последнего сбоя.
      • Создавайте PR даже при наличии незакоммиченных изменений (в раскрывающемся меню git).
      • При редактировании YML-файла IDE будет показывать больше подсказок автодополнения благодаря dbt-jsonschema.
      • В контекстном меню дерева файлов теперь доступны дополнительные действия, например копирование модели в виде ref или копирование пути к файлу.
      • Для представления DAG установлено значение по умолчанию 2+model+2.
      • На вложенной вкладке DAG/lineage реализован селектор зависимостей.
      • Редактируйте файлы непосредственно в представлении git diff на правой панели.
      • Теперь при нажатии Command-W/Control-W будет появляться предупреждение, если есть несохранённые изменения.
      • Теперь доступно новое пошаговое руководство по началу работы.

      Усовершенствования продукта​

      • Выборщик DAG теперь использует name вместо file_uri для построения селекторов.
      • DAG теперь вертикально центрирован под новым элементом выбора.
      • sqlfmt был обновлен до v0.17.0.
      • Когда кнопка Форматирования не срабатывает, уведомление будет отображать синтаксическую ошибку.
      • Редактор теперь имеет возможность переключать мини-карту/перенос слов с помощью правой кнопки мыши.
      • В истории теперь отображается прошедшее время в реальном времени и в единицах s/m/h.
      • При удалении сред разработки модальное окно теперь предупреждает пользователей о том, что любые несохраненные изменения будут потеряны.
      • Контекст для кнопки Git был скорректирован, чтобы показать, что она будет ссылаться на внешний сайт (например, GitHub или GitLab), когда пользователи создают запрос на вытягивание.

      Исправления ошибок​

      • IDE теперь отображает сообщение об ошибке, когда репозиторий git недоступен. Ранее он завершался без ошибок.
      • Меню с тремя точками теперь видно, когда открыта панель истории вызовов. Ранее оно не отображалось.
      • DAG теперь обновляется/заполняется последовательно. Ранее это иногда не срабатывало.
      • Фиолетовое выделение для выбора DAG теперь согласовано по всем файлам. Ранее оно было несогласованным.
      • Пользователи теперь могут переименовывать файлы обратно в их оригинальное имя. Ранее это было невозможно.
      • Ссылка на IDE со страницы настройки проекта была исправлена.
      • IDE больше не имеет проблем с именами файлов с одним пробелом.
      • Добавление недопустимых символов в конфигурацию подкаталога больше не вызывает сбой IDE.
      • Автозаполнение YML теперь срабатывает последовательно. Ранее это иногда не срабатывало.
      • Отмена отдельных файлов теперь перезагружает содержимое файла во вкладке. Ранее это не перезагружалось.
      • Дерево файлов больше не сворачивается при первом нажатии, когда определена подкатегория проекта.
  •  Обновления API

    Чтобы сделать API более масштабируемым и надежным, мы внедрили максимальный лимит в 100 для всех запросов API к нашим list эндпоинтам. Если запросы API превышают максимальный лимит параметра 100, пользователь получит сообщение об ошибке API.

    Это максимальное ограничение применяется только к многопользовательским экземплярам и не применяется к однопользовательским экземплярам.

    Подробнее об этом изменении см. раздел Pagination в обзоре.

Февраль 2023​

  •  Отключение частичного разбора в командах заданий

    Теперь вы можете использовать флаг --no-partial-parse, чтобы отключить частичное разбор в ваших командах заданий dbt Cloud. 

    Ранее глобальная конфигурация --no-partial-parse была доступна только в dbt Core. Для получения дополнительной информации обратитесь к частичному разбору.

  •  dbt Cloud IDE

    Чтобы сделать работу в Cloud IDE ещё удобнее, команда dbt Labs работала над исправлением ошибок, повышением надёжности и добавлением новых возможностей ✨.

    Узнайте больше о февральских изменениях.

    Новые функции​

    • Поддержка пользовательских цветов узлов при визуализации DAG в IDE

      • Автодополнение ref включает модели из seeds и snapshots
      • Предотвращено обрезание меню (выпадающего меню элементов управления git, выпадающего меню дерева файлов, меню кнопки сборки и меню параметров вкладок редактора)
      • Добавлена возможность открыть меню файла, щёлкнув правой кнопкой мыши по файлу или папке в дереве файлов
      • Переименование файлов двойным щелчком по файлам в дереве файлов и по вкладкам редактора
      • В контекстное меню вкладок файлов добавлены новые пункты; теперь оно открывается у курсора, а не посередине вкладки
      • Название ветки git над разделом Version Control служит ссылкой на репозиторий для определённых провайдеров git
        • Сейчас доступно для всех мультитенантных экземпляров, использующих провайдеров GitHub или GitLab

      Усовершенствования продукта​

      • Добавлено модальное окно ошибки для ошибок разбора RPC, когда пользователи пытаются вызвать команды dbt (предварительный просмотр, компиляция или общие вызовы dbt).
      • Включено синтаксическое выделение для выражений Jinja и разделителей операторов.
      • Уточнены и переименованы параметры под кнопкой Сборка.
      • Изменен термин для статуса RPC с Компиляция на Разбор, чтобы соответствовать конструкции dbt-core.
      • Реализован новый компонент Дерево файлов для улучшения времени рендеринга на 60%.
      • Отключено локальное хранилище дерева файлов, чтобы предотвратить возникновение проблемы с максимальным локальным хранилищем для больших проектов.
      • Изменен шаблон фрагмента снимка (__snapshot) на выбор из источника.

      Исправления ошибок​

      • Вы больше не сталкиваетесь с содержимым файла, которое переносится, когда вы переключаетесь на другой проект, который имеет то же имя файла.
      • Максимальный лимит предварительного просмотра больше не позволяет вам переопределять максимум.
      • Вы больше не сталкиваетесь с состоянием узлов, которые не обновляются в панели истории для тех, кто использует версию 1.4 core. (Это частичное исправление, которое может быть полностью устранено в версии core 1.5).
      • Теперь вы можете использовать опцию Копировать имя файла, чтобы скопировать до последней точки, а не до первой точки.
      • Теперь вы можете использовать флаг --no-partial-parse, чтобы отключить частичное разбор в ваших командах заданий dbt Cloud. 
      • Ранее глобальная конфигурация --no-partial-parse была доступна только в dbt Core. Для получения дополнительной информации обратитесь к частичному разбору.

Январь 2023​

  •  dbt Cloud IDE

    Продолжая совершенствовать работу в Cloud IDE, команда dbt Labs работала над исправлением ошибок, повышением надежности и добавлением новых возможностей ✨.

    Узнайте больше о январских изменениях и о том, что будет скоро.

    Новые функции​

    • Улучшенное синтаксическое выделение в IDE для лучшего сочетания Jinja-SQL (двойные кавычки теперь показывают правильное синтаксическое выделение!)
    • Отрегулирован URL-адрес маршрутизации для страницы IDE и удален next из URL-адреса.
    • Добавлен новый пасхальный яйцо в IDE 🐶🦆.

    Усовершенствования продукта​

    • Улучшения производительности и снижение «тормозов» IDE. Интерфейс должен ощущаться более быстрым и отзывчивым.
    • Улучшения надёжности — улучшена обработка ошибок, которые ранее могли приводить IDE в некорректное состояние
    • Исправлен список опций в выпадающем меню кнопки Build
    • Скорректировано время отображения стартовой страницы
    • Добавлены примеры кода для тестов unique и not_null в YAML‑файлах
    • Добавлены примеры кода для метрик на основе версий dbt, заданных в окружении
    • Формулировка “commit and push” заменена на “commit and sync”, чтобы точнее отражать выполняемое действие
    • Улучшено сообщение об ошибке при сохранении или переименовании файлов с дублирующимися именами

    Исправления ошибок​

    • Вы больше не сталкиваетесь с сообщением RPC server got an unknown async ID случайным образом.
    • Теперь вы можете видеть выпадающее меню кнопки сборки, которое было скрыто за экраном пустого DAG.
    • Теперь вы можете закрыть уведомления о сбое команды, когда открыта панель истории.
    • Вы больше не сталкиваетесь с сообщением Что-то пошло не так при предварительном просмотре модели.
    • Теперь вы можете видеть статус репозитория в IDE, и IDE находит папку SSH.
    • Полосы прокрутки и загрузка CSV больше не мигают в области предварительного просмотра.

Нашли ошибку?

0
Loading