Настройка Семантического Слоя dbt

С помощью Семантического Слоя dbt вы можете централизованно определять бизнес-метрики, уменьшать дублирование и несоответствие кода, создавать самообслуживание в инструментах нижнего уровня и многое другое.

Предварительные условия

• Иметь командный или корпоративный аккаунт dbt Cloud.
  • Доступно на всех конфигурациях арендаторов. Владельцам одноарендаторных аккаунтов следует связаться с представителем своего аккаунта для настройки.
• Убедитесь, что ваши производственные и разработческие среды используют поддерживаемую версию dbt.
• Используйте Snowflake, BigQuery, Databricks или Redshift.
• Создайте успешный запуск в среде, где вы настраиваете Семантический слой.
  • Примечание: Семантический слой поддерживает запросы в средах развертывания; поддержка запросов в средах разработки появится в ближайшее время.
• Понимать ключевые концепции MetricFlow, которые лежат в основе Семантического слоя dbt.
• Обратите внимание, что Семантический слой dbt не поддерживает SSH-туннелирование для подключений Postgres или Redshift. Также он не поддерживает использование единого входа (SSO) для производственных учетных данных, хотя SSO поддерживается для учетных записей пользователей разработки.

📹 Узнайте о семантическом слое dbt с помощью видеокурсов по запросу!

Изучите наш курс по семантическому слою dbt, чтобы узнать, как определять и запрашивать метрики в вашем проекте dbt.

Кроме того, погрузитесь в мини-курсы по запросам к семантическому слою dbt в ваших любимых инструментах: Tableau, Excel, Hex и Mode.

Настройка Семантического Слоя dbt

Вы должны быть частью группы владельцев и иметь соответствующую лицензию и разрешения, чтобы настроить Семантический слой на уровне окружения и проекта.

• План Enterprise:
  • Лицензия разработчика с разрешениями администратора учетной записи, или
  • Владелец с лицензией разработчика, назначенными разрешениями создателя проекта, администратора базы данных или администратора.
• План Team: Владелец с лицензией разработчика.
• Бесплатная пробная версия: Вы находитесь на бесплатной пробной версии плана Team в качестве владельца, что означает, что у вас есть доступ к Семантическому слою dbt.

1. Выберите окружение

Выберите окружение, в котором вы хотите включить Семантический слой:

1. Перейдите в Настройки учетной записи в навигационном меню.
2. В левой боковой панели Настройки выберите конкретный проект, для которого вы хотите включить Семантический слой.
3. На странице Детали проекта перейдите в раздел Семантический слой. Выберите Настроить Семантический слой.

Раздел Семантического слоя на странице 'Детали проекта'

4. На странице Настройка конфигурации Семантического слоя выберите окружение развертывания, которое вы хотите для Семантического слоя, и нажмите Сохранить. Это предоставляет администраторам гибкость в выборе окружения, в котором будет включен Семантический слой.

Выберите окружение развертывания для работы вашего Семантического слоя.

2. Добавьте учетные данные и создайте сервисные токены

Семантический слой dbt использует сервисные токены для аутентификации, которые связаны с учетными данными платформы данных, которые вы настраиваете. Настроенные учетные данные используются для выполнения запросов, которые Семантический слой отправляет вашей платформе данных.

Эти учетные данные контролируют физический доступ к данным, к которым обращается Семантический слой, и все политики доступа, установленные на платформе данных для этих учетных данных, будут соблюдаться.

Функция	План Team	План Enterprise
Сервисные токены	Можно создать несколько сервисных токенов, связанных с одними учетными данными.	Можно использовать несколько учетных данных и связывать несколько сервисных токенов с каждым из них. Обратите внимание, что вы не можете связать один сервисный токен с более чем одними учетными данными.
Учетные данные на проект	Одни учетные данные на проект.	Можно добавить несколько учетных данных на проект.
Связать несколько сервисных токенов с одними учетными данными	✅	✅

Если вы находитесь на плане Team и вам нужно добавить больше учетных данных, рассмотрите возможность перехода на наш план Enterprise. Пользователи Enterprise могут обратиться к Добавить больше учетных данных для получения подробных шагов по добавлению нескольких учетных данных.

1. Выберите окружение развертывания

• После выбора окружения развертывания вы должны увидеть страницу Учетные данные и сервисные токены.
• Нажмите кнопку Добавить учетные данные Семантического слоя.

2. Настройте учетные данные

• В разделе 1. Добавить учетные данные введите учетные данные, специфичные для вашей платформы данных, которые вы хотите использовать в Семантическом слое.
• Используйте учетные данные с минимальными привилегиями. Семантический слой требует доступа на чтение к схемам, содержащим модели dbt, используемые в ваших семантических моделях для последующих приложений.

• Используйте Расширенные атрибуты и Переменные окружения при подключении к Семантическому слою. Если вы задаете значение непосредственно в Учетных данных Семантического слоя, оно будет иметь более высокий приоритет, чем Расширенные атрибуты. При использовании переменных окружения будет использоваться значение по умолчанию для окружения.

  Например, задайте хранилище, используя {{env_var('DBT_WAREHOUSE')}} в ваших учетных данных Семантического слоя.

  Аналогично, если вы задаете значение учетной записи с помощью {{env_var('DBT_ACCOUNT')}} в Расширенных атрибутах, dbt проверит как Расширенные атрибуты, так и переменную окружения.

Добавьте учетные данные и свяжите их с сервисным токеном.

3. Создайте или свяжите сервисные токены

• Если у вас есть разрешение на создание сервисных токенов, вы увидите Опцию сопоставления нового сервисного токена после добавления учетных данных. Назовите токен, установите разрешения на 'Только Семантический слой' и 'Только метаданные', и нажмите Сохранить.
• После генерации токена вы не сможете просмотреть его снова, поэтому убедитесь, что сохранили его в безопасном месте.
• Если у вас нет доступа для создания сервисных токенов, вы увидите сообщение с просьбой связаться с вашим администратором для создания токена. Администраторы могут создавать и связывать токены по мере необходимости.

Если у вас нет доступа для создания сервисных токенов, вы можете создать учетные данные и связаться с вашим администратором для создания токена.

к сведению

• Планы Team могут создавать несколько сервисных токенов, связанных с одними учетными данными, но каждый проект может иметь только одни учетные данные.
• Планы Enterprise могут добавить несколько учетных данных и сопоставить их с сервисными токенами для более точного доступа.

Записаться на бесплатную живую демонстрацию, чтобы открыть для себя весь потенциал dbt Cloud Enterprise.

3. Просмотр деталей подключения

1. Вернитесь на страницу Детали проекта для получения деталей подключения к инструментам последующей обработки.

2. Скопируйте и поделитесь ID окружения, сервисным токеном, хостом, а также именем сервисного токена с соответствующими командами для настройки подключения BI. Если ваш инструмент использует GraphQL API, сохраните информацию о хосте GraphQL API вместо URL JDBC.

   Для информации о том, как подключиться к другим интеграциям, обратитесь к Доступные интеграции.

После настройки вы получите детали подключения для подключения к вашим инструментам последующей обработки.

4. Добавьте больше учетных данных enterprise

Планы dbt Cloud Enterprise могут дополнительно добавлять несколько учетных данных и связывать их с сервисными токенами, предлагая более детальный контроль и адаптированный доступ для различных команд, которые затем могут быть переданы соответствующим командам для настройки подключения BI. Эти учетные данные контролируют физический доступ к данным, к которым обращается Семантический слой.

Мы рекомендуем настраивать учетные данные и сервисные токены в соответствии с вашими командами и их ролями. Например, создавайте токены или учетные данные, которые соответствуют потребностям вашей команды, например, предоставляя доступ к схемам, связанным с финансами, для финансовой команды.

 Соображения по связыванию учетных данных

• Администраторы могут связывать несколько сервисных токенов с одними учетными данными в проекте, но каждый сервисный токен может быть связан только с одними учетными данными на проект.
• Когда вы отправляете запрос через API, сервисный токен связанного учетного данных будет следовать политикам доступа к представлениям и таблицам, используемым для построения ваших запросов семантического слоя.

• Используйте Расширенные атрибуты и Переменные окружения при подключении к Семантическому слою. Если вы задаете значение непосредственно в Учетных данных Семантического слоя, оно будет иметь более высокий приоритет, чем Расширенные атрибуты. При использовании переменных окружения будет использоваться значение по умолчанию для окружения.

  Например, задайте хранилище, используя {{env_var('DBT_WAREHOUSE')}} в ваших учетных данных Семантического слоя.

  Аналогично, если вы задаете значение учетной записи с помощью {{env_var('DBT_ACCOUNT')}} в Расширенных атрибутах, dbt проверит как Расширенные атрибуты, так и переменную окружения.

1. Добавьте больше учетных данных

• После настройки вашего окружения на странице Учетные данные и сервисные токены нажмите кнопку Добавить учетные данные Семантического слоя, чтобы создать несколько учетных данных и связать их с сервисным токеном.
  
• В разделе 1. Добавить учетные данные заполните поля учетных данных платформы данных. Мы рекомендуем использовать учетные данные с правами "только для чтения".
  Добавьте учетные данные и свяжите их с сервисным токеном.

2. Сопоставьте сервисные токены с учетными данными

• В разделе 2. Сопоставить новый сервисный токен сопоставьте сервисный токен с учетными данными, которые вы настроили на предыдущем шаге. dbt Cloud автоматически выбирает набор разрешений для сервисного токена, который вам нужен (Только Семантический слой и Только метаданные).
• Чтобы добавить еще один сервисный токен во время настройки, нажмите Добавить сервисный токен.
• Вы можете связать больше сервисных токенов с теми же учетными данными позже на странице Детали конфигурации Семантического слоя. Чтобы добавить еще один сервисный токен к существующей конфигурации Семантического слоя, нажмите Добавить сервисный токен в разделе Связанные сервисные токены.
• Нажмите Сохранить, чтобы связать сервисный токен с учетными данными. Не забудьте скопировать и сохранить сервисный токен в безопасном месте, так как он не будет доступен для просмотра после генерации.

Используйте страницу конфигурации для управления несколькими учетными данными или связывания или отвязывания сервисных токенов для более детального контроля.

3. Удалите учетные данные

• Чтобы удалить учетные данные, вернитесь на страницу Учетные данные и сервисные токены.

• В разделе Связанные сервисные токены нажмите Редактировать и выберите Удалить учетные данные, чтобы удалить учетные данные.

  Когда вы удаляете учетные данные, любые сервисные токены, связанные с этими учетными данными в проекте, перестанут работать и будут недоступны для конечных пользователей.

Удаление конфигурации

Вы можете удалить всю конфигурацию Семантического слоя для проекта. Обратите внимание, что удаление конфигурации Семантического слоя удалит все учетные данные и отвяжет все сервисные токены от проекта. Это также приведет к сбою всех запросов к Семантическому слою.

Следуйте этим шагам, чтобы удалить конфигурацию Семантического слоя для проекта:

1. Перейдите на страницу Детали проекта.
2. В разделе Семантический слой выберите Удалить Семантический слой.
3. Подтвердите удаление, нажав Да, удалить семантический слой в всплывающем окне подтверждения.

Чтобы повторно включить настройку Семантического слоя dbt в будущем, вам нужно будет воссоздать ваши конфигурации, следуя предыдущим шагам. Если ваши семантические модели и метрики все еще находятся в вашем проекте, никаких изменений не требуется. Если вы их удалили, вам нужно будет снова настроить конфигурации YAML.

Удалите конфигурацию Семантического слоя для проекта.

Дополнительная конфигурация

Следующие дополнительные гибкие конфигурации для учетных данных Семантического слоя.

Сопоставьте сервисные токены с учетными данными

• После настройки вашего окружения вы можете сопоставить дополнительные сервисные токены с теми же учетными данными, если у вас есть необходимые разрешения.
• Перейдите на страницу Учетные данные и сервисные токены и нажмите кнопку +Добавить сервисный токен в разделе Связанные сервисные токены.
• Введите имя сервисного токена и выберите необходимый набор разрешений (Только Семантический слой и Только метаданные).
• Нажмите Сохранить, чтобы связать сервисный токен с учетными данными.
• Не забудьте скопировать и сохранить сервисный токен в безопасном месте, так как он не будет доступен для просмотра после генерации.

Сопоставьте дополнительные сервисные токены с учетными данными.

Отвяжите сервисные токены

• Отвяжите сервисный токен от учетных данных, нажав Отвязать в разделе Связанные сервисные токены. Если вы попытаетесь выполнить запрос к Семантическому слою с отвязанными учетными данными, вы столкнетесь с ошибкой в вашем BI-инструменте, так как не будет сопоставлен действительный токен.

Управление со страницы сервисных токенов

Просмотр учетных данных из сервисного токена

• Просмотрите ваши учетные данные Семантического слоя напрямую, перейдя на страницу API токены, а затем Сервисные токены.
• Выберите сервисный токен, чтобы просмотреть учетные данные, с которыми он связан. Это полезно, если вы хотите узнать, какие сервисные токены сопоставлены с учетными данными в вашем проекте.

Создайте новый сервисный токен

• На странице Сервисные токены создайте новый сервисный токен и сопоставьте его с учетными данными (при условии, что разрешение на семантический слой существует). Это полезно, если вы хотите создать новый сервисный токен и напрямую сопоставить его с учетными данными в вашем проекте.
• Убедитесь, что выбрали правильный набор разрешений для сервисного токена (Только Семантический слой и Только метаданные).

Создайте новый сервисный токен и сопоставьте учетные данные напрямую на отдельной странице 'Сервисные токены'.

Следующие шаги

• Теперь, когда вы настроили Семантический Слой dbt, начните запрашивать ваши метрики с помощью доступных интеграций.
• Оптимизируйте производительность запросов с помощью декларативного кэширования.
• Проверяйте семантические узлы в CI, чтобы убедиться, что изменения в коде dbt моделей не нарушают эти метрики.
• Если вы еще этого не сделали, узнайте, как создавать метрики и семантические модели в вашем инструменте разработки.
• Узнайте о часто задаваемых вопросах по Семантическому Слою dbt.

Часто задаваемые вопросы

 Как кэширование взаимодействует с контролем доступа?

Кэшированные данные хранятся отдельно от базовых моделей. Если метрики извлекаются из кэша, мы не применяем контекст безопасности к этим таблицам во время выполнения запроса.

В будущем мы планируем клонировать учетные данные, определять минимальный необходимый уровень доступа и применять эти разрешения к кэшированным таблицам.