Reverse ETL
Reverse ETL — это процесс переноса преобразованных данных, хранящихся в вашем хранилище данных, в конечные бизнес-платформы, такие как CRM для продаж и рекламные платформы. Оказавшись на конечной платформе, эти данные часто используются для осуществления значимых бизнес-действий, таких как создание пользовательских аудиторий на рекламных платформах, персонализация email-кампаний или дополнение данных в CRM для продаж. Вы также можете услышать, что reverse ETL называют операционной аналитикой или активацией данных.
Обычно усилия по reverse ETL происходят после того, как команды данных настроили свой современный стек данных и в конечном итоге имеют последовательный и автоматизированный способ извлечения, загрузки и преобразования данных. Команды данных также часто отвечают за настройку конвейеров для передачи данных на бизнес-платформы, а бизнес-пользователи обычно отвечают за использование данных, когда они попадают на их конечную платформу.
В конечном итоге, reverse ETL — это способ разместить данные там, где уже происходит работа, поддержать усилия по самообслуживанию и помочь бизнес-пользователям извлечь реальную пользу из своих данных.
Как работает reverse ETL
В процессе reverse ETL преобразованные данные синхронизируются из хранилища данных с внешними инструментами, чтобы их могли использовать различные бизнес-команды.
Сила reverse ETL заключается в отправке уже преобразованных данных на бизнес-платформы. Сырые данные, хотя и красивы по-своему, обычно не имеют структуры, агрегаций и псевдонимов, чтобы быть полезными для конечных бизнес-пользователей сразу. После того как команды данных преобразуют данные для бизнес-использования в конвейерах, обычно для отображения в конечном инструменте бизнес-аналитики (BI), они также могут отправить эти о чищенные и значимые данные на другие платформы, где бизнес-пользователи могут извлечь из них пользу, используя инструменты reverse ETL.
Команды данных могут выбрать написание дополнительных преобразований, которые могут потребоваться для конечных бизнес-инструментов в самих инструментах reverse ETL или путем создания дополнительных моделей в dbt.
Зачем использовать reverse ETL?
Есть несколько причин, почему ваша команда может захотеть рассмотреть возможность использования reverse ETL:
Размещение данных там, где происходит работа
Хотя большинство команд данных хотели бы, чтобы бизнес-пользователи проводили значительную часть своего времени в своем BI-инструменте, это не всегда практично и не обязательно является наиболее эффективным использованием их времени. В реальном мире многие бизнес-пользователи проведут некоторое время в BI-инструменте, определят данные, которые могут быть полезны на платформе, где они проводят значительное количество времени, и будут работать с командой данных, чтобы получить эти данные там, где они им нужны. Пользователи чувствуют себя комфортно и уверенно в системах, которые они используют каждый день — почему бы не разместить данные в местах, которые позволяют им процветать?
Манипуляция данными для соответствия требованиям конечной платформы
Reverse ETL помогает вам разместить данные, которые нужны вашим бизнес-пользователям, в формате, который ожидает их конечный инструмент. Часто конечные платформы ожидают, что поля данных будут названы или приведены в определенный вид. Вместо того чтобы бизнес-пользователи вручную вводили эти значения в правильном формате, вы можете преобразовать свои данные, используя продукт, такой как dbt, или непосредственно в самом инструменте reverse ETL, и синхронизировать эти данные автоматически.
Поддержка усилий по самообслуживанию
Отправляя данные, одобренные командой данных, в конвейеры reverse ETL, ваши бизнес-пользователи получают гибкость использовать эти данные так, как они считают нужным. Вскоре ваши бизнес-пользователи будут создавать аудитории, тестировать персонализацию и управлять своей конечной платформой как хорошо отлаженной, управляемой данными машиной.
Примеры использования reverse ETL
Как и в случае с данными, существует множество потенциальных вариантов использования reverse ETL. Мы не будем рассматривать все возможные варианты, но рассмотрим некоторые из распространенных случаев использования, которые существуют для усилий reverse ETL.
Персонализация
Reverse ETL позволяет бизнес-пользователям получать доступ к данным, которые они обычно могли бы получить только в BI-инструменте, на платформах, которые они используют каждый день. В результате бизнес-пользователи теперь могут использовать эти данные для персонализации того, как они создают рекламу, отправляют электронные письма и общаются с клиентами.
Персонализация была в моде несколько лет назад, и теперь вы редко видите электронное письмо, приходящее в ваш почтовый ящик, без какой-либо персонализации. Команды данных, использующие reverse ETL, могут передавать важную информацию о клиентах, такую как местоположение, пожизненная ценность клиента (CLV), стаж и другие поля, которые могут быть использованы для создания персонализированных писем, установления соответствующих сообщений и сегментации потоков писем. Все, что мы можем сказать: возможности для персонализации, поддерживаемой reverse ETL, безграничны.
Сложные платные маркетинговые инициативы
В конечном итоге, компании хотят показывать правильную рекламу правильным людям (и по правильной цене). Обычный случай использования reverse ETL заключается в том, чтобы команды использовали свои клиентские данные для создания аудиторий на рекламных платформах, чтобы либо обслуживать конкретные аудитории, либо создавать похожие аудитории. Хотя рекламные платформы становятся все более сложными с их алгоритмами для идентификации высокоценных аудиторий, обычно никогда не помешает попытаться дополнить эти аудитории своими собственными данными для создания сложных аудиторий или похожих.
Культура самообслуживания аналитики
Мы намекали на это ранее, но усилия reverse ETL могут быть эффективным способом продвижения культуры самообслуживания аналитики. Когда команды данных размещают данные там, где они нужны бизнес-пользователям, бизнес-пользователи могут уверенно получать к ним доступ самостоятельно, получая еще более быстрые инсайты и действия. Вместо того чтобы запрашивать извлечение данных у члена команды данных, они могут найти нужные данные непосредственно в платформе, которую они используют. Reverse ETL позволяет бизнес-пользователям действовать на основе метрик, которые уже были разработаны и проверены командами данных, без создания разовых запросов.
"Реальные" данные
Было бы упущением не упомянуть reverse ETL и понятие "реальных" данных. Хотя вы можете обсудить значимость и истинную ценность "реальных" данных в другой раз, reverse ETL может быть механизмом для переноса данных на конечные бизнес-платформы более "реальным" образом.
Команды данных могут настроить синхронизацию в инструментах reverse ETL с более высокой частотой, позволяя бизнес-пользователям получать нужные данные быстрее. Очевидно, что здесь есть некоторый анализ затрат и выгод относительно того, как часто вы хотите загружать данные через инструменты ETL и обращаться к вашему хранилищу данных, но reverse ETL может помочь перемещать данные во внешние инструменты с более быстрой частотой, если это необходимо.
Все это говорит о том, что нужно двигаться с осторожностью в области "реальных" данных, понимать желания и процесс принятия решений ваших заинтересованных сторон относительно "реальных" данных и работать над решением, которое будет как практичным, так и значимым.
Инструменты reverse ETL
Инструменты reverse ETL обычно устанавливают соединение между вашим хранилищем данных и конечными бизнес-инструментами, предлагают интерфейс для создания дополнительных преобразований или аудиторий и поддерживают автоматизацию последующих синхронизаций. Ниже приведены некоторые примеры инструментов, поддерживающих конвейеры reverse ETL.
| Инструмент | Описание | Опция с открытым исходным кодом? |
|---|---|---|
| Hightouch | Платформа для синхронизации моделей данных и создания пользовательских аудиторий для конечных бизнес-платформ. | ❌ |
| Polytomic | Унифицированная платформа синхронизации для синхронизации с и из хранилищ данных (ETL и Reverse ETL), баз данных, бизнес-приложений, API и электронных таблиц. | ❌ |
| Census | Еще один инструмент reverse ETL, который может синхронизировать данные из вашего хранилища данных с вашими инструментами выхода на рынок. | ❌ |
| Rudderstack | Также CDP (платформа данных клиентов), Rudderstack дополнительно поддерживает передачу данных и аудиторий во внешние инструменты, такие как рекламные платформы и email CRM. | ✅ |
| Grouparoo | Grouparoo, часть Airbyte, является фреймворком с открытым исходным кодом для перемещения данных из хранилищ данных в различные облачные инструменты. | ✅ |
Заключение
Reverse ETL позволяет синхронизировать ваши преобразованные данные, хранящиеся в вашем хранилище данных, с внешними платформами, которые часто используются маркетинговыми, торговыми и продуктовыми командами. Это позволяет использовать ваши данные совершенно новым образом. Конвейеры reverse ETL могут поддерживать усилия по персонализации, сложные платные маркетинговые инициативы и в конечном итоге предлагать новые способы использования ваших данных. Делая это, создается культура самообслуживания аналитики, где заинтересованные стороны могут получать нужные данные в нужных местах автоматически.
Дополнительное чтение
Если вас интересует больше информации о reverse ETL и его влиянии на вашу команду, ознакомьтесь со следующими материалами: