Наша эволюция в BI системах: от Looker Studio к Yandex DataLens

Именно BI системы помогают строить и визуализировать аналитические отчёты о состоянии компании из разных источников. Некоторые из них созданы специально для работы с маркетинговыми инструментами. Для своих клиентов мы используем BI-отчеты с 2018 года. Они позволяют детально отслеживать статистику, эффективность рекламных каналов, выявлять сильные и слабые стороны текущей стратегии и принимать грамотные решения для корректировок.

В начале пути для визуализации отчетности по контекстной рекламе мы использовали Looker Studio (в прошлом — Google Data Studio). Мы даже выпускали подробный материал о создании красивых отчетов в Google Data Studio и делились шаблоном отчета.

Потом мы решили отказаться от Universal Analytics как от аналитики прошлого поколения. А последствия санкций позже подтвердили верность нашего ухода от GA4 к Yandex DataLens. Переход не получился мгновенным, потому что системы разные, и потребовалось время для максимально комфортной настройки сервиса.

Реализация перехода 1.0

Мы сразу заметили отличия систем. В Yandex DataLens отсутствуют:

1. База данных для промежуточного хранения информации;
2. Нативный коннектор к Яндекс.Директу.

Решили закрывать задачу силами отдела контекстной рекламы. Мы завели БД в Яндекс облаке и начали собирать данные из рекламных кабинетов с помощью скрипта на Python. Обновление скриптом требовало много усилий: он часто сбоил и мог подвисать на больших объемах данных.

Также предстояло регулярно обновлять данные из-за особенностей корректировки статистики Директом. Расхождение данных связано с продолжительным сроком подтягивания их Яндексом (это может занимать 21 день).

Итак, мы собрали первый шаблон отчета для клиентов с аналитикой. Его недостатком стало отсутствие возможности сравнивать данные из прошлых периодов. Другой сложностью выявилось клонирование шаблона для другого клиента. Смена источника как в ДатаСтудио стала невозможной, а воркбуков ещё не было.

Резюме проблем первого этапа:

1. Сбор данных отнимает время и требует поддержки;
2. Нет сравнения с предыдущими периодами;
3. Есть трудности с клонированием отчетов.

Реализация 2.0

Этап 1

Проблему сбора данных мы решили кардинально, создав сервис на базе нашего Сеодроида — https://lp.seodroid.ru/datalens. На момент его запуска основной задачей было экспортирование данных из Яндекс.Директ в ClickHouse. Сейчас сервис поддерживает уже 4 источника данных:

• Яндекс.Директ;
• Яндекс.Метрика;
• Calltouch;
• Гугл Таблицы.

А также он умеет перекладывать их в БД КликХаус и MySQL.

Созданные в  Yandex DataLens при помощи Сеодроида отчеты надежны и безопасны, потому что особое внимание уделяется конфиденциальности данных. А расхождения с рекламными системами сведены к минимуму, потому что обновление данных за предыдущий период происходит каждый день. В отчете предусмотрена наглядная визуализация, возможность добавлять и комментировать нужные срезы.

Работу в Сеодроиде по созданию отчетов обычно реализуем в три шага:

1. Разворачиваем базу данных ClickHouse в Яндекс.Облаке;
2. Настраиваем выгрузку данных из Директа или Метрики;
3. Настраиваем дашборды Yandex Datalens.

Этап 2

С появлением воркбуков стало проще копировать шаблон для другого клиента. Но обнаружилось, что поля имеют уникальные идентификаторы, которые при копировании шаблонов меняются. Проведя ряд экспериментов, мы нашли выход в создании кастомных полей.

Осталась проблема с копированием комментариев к отчету. Потому как они у нас хранятся в отдельной Google таблице, копировать воркбук оттуда не представляется возможным. Для каждого отчета комментарии нужно подключать вручную, указывая нужные поля как источники.

Резюме проблем второго этапа:

Описанная версия уже сильно радовала, но оставалось желание устранить еще пару проблем:

1. Настроить сравнение данных;
2. Улучшить процесс копирования шаблона и смену источника для другого клиента.

Реализация 3.0, актуальная

Для вывода показателей в динамике мы нашли решение расчетом показателей через формулы и отдельные поля. Сравниваем их и выводим так:

Импорт данных из Гугл таблиц в КликХаус мы реализуем в сервисе https://lp.seodroid.ru/datalens. Теперь у отчета единственный источник данных — ClickHouse. Это позволяет легко клонировать отчет для другого клиента, меняя только источники данных и нужные цели.

Вывод

За весь период работы с BI-отчетностями с 2018 года мы не раз меняли свои подходы и используемые инструменты. Когда Looker Studio потерял актуальность, Yandex DataLens показал себя как достойный аналог. А вопрос об автоматизации системы управления аналитики мы решили созданием своего собственного Сеодроида вместо покупки других сервисов.

Разработка Сеодроида позволила нам значительно усовершенствовать работу с большими объемами информации разных клиентов. Он быстро импортирует данные из Яндекс Директа, Метрики, CallTouch, онлайн таблиц в ClickHouse, а также настраивается под любые временные срезы и категории. Пример эффективности метода описали в кейсе «Сэкономили заводу >60 часов в год благодаря BI-системе Yandex DataLens».

Команда Информбокс уже более 7 лет работает с аналитикой, и с каждым проектом мы совершенствуем процессы. Автоматизируем системы, упрощаем работу с данными, визуализируем отчеты. Опыт и экспертиза позволяют нам находить нестандартные подходы к решению задач для компаний практически из любой отрасли несмотря на изменяющиеся условия.

Узнайте, как инструменты Yandex DataLens могут помочь вашему бизнесу.