BI-система как продукт

К любой системе можно подходить как к продукту, и BI-система не исключение. Она помогает пользователям решать конкретные бизнес-задачи, и её эффективность можно оценить с помощью метрик.

В этой главе вы узнаете, что лежит в основе BI-системы, почему её стоит рассматривать как продукт, из каких компонентов она состоит, какие задачи решает и как измерить эффективность её работы.

Для начала стоит выяснить, что лежит в основе BI-системы. Так можно понять, какие задачи она решает и что нужно для управления ею. Основа BI-систем — визуализация данных, которая помогает быстрее замечать закономерности. Покажем это на очевидном примере. Представьте, что вас попросили посчитать количество девяток в наборе цифр:

748362912894679378452239874978129469473821

Вам приходится сканировать каждый символ, внимательно всматриваться и держать счёт в голове. Теперь взгляните на ту же строку с минимальной визуализацией и проследите, сколько времени уйдёт теперь:

Строка с визуализацией

748362912894679378452239874978129469473821

Данные не изменились, но изменилась подача.

Для принятия решений в бизнесе тоже нужны скорость и удобство. Поэтому важны не только данные, но и то, как вы их показываете. В примере выше визуализация помогла найти нужные значения среди набора цифр, а на практике она поможет выделить ключевые показатели среди второстепенных.

На скорость восприятия влияют pre-attentive attributes — визуальные подсказки: формы, цвет, размер и положение элементов друг относительно друга.

Подробности о том, как работают эти подсказки, я описал в статье о визуализации.

Если среди однотипных визуальных элементов есть яркий акцент, мозг сразу заметит его. Благодаря визуализации график или цветовая метка воспринимаются мгновенно, что позволяет вовремя отреагировать на тренд, всплеск или отклонение. Это происходит за счёт работы центров мозга, которые воспринимают расстояния и цвет. Мозг обрабатывает эту информацию быстрее, чем текст или данные.

Визуализация — это инструмент, который в умелых руках ускоряет управление бизнесом. Презентация информации в виде графиков и диаграмм помогает быстрее понимать актуальную обстановку.

Как-то на добывающем предприятии нужно было понять, почему оборудование простаивает. Первичный анализ показал: часто не хватает запчастей. Причина — процесс закупки, который только от заказа до оплаты занимал до 70 рабочих дней. Руководство считало это нормой.

Мы с рабочей группой взяли стикеры и маркеры, описали процесс и получили карту из 60 шагов и 19 участников. Перенесли карту в электронный вид и распечатали для пущей наглядности. Пришлось склеить десятки листов А2, чтобы показать всего один процесс. Пришли к директорам и эффектно развернули огромную карту на гигантском столе в переговорке.

Случился настоящий aha-moment. Все участники сразу заметили неоптимальность процесса и лишние этапы согласований. В результате мы убрали лишние этапы согласования и проверок и сделали новые стандартные формы документов. Процесс стал занимать не 67 рабочих дней, а 33 дня, и это сэкономило компании серьёзные деньги.

Переломным моментом в этом кейсе стало решение распечатать карту, чтобы наглядно показать масштаб проблемы. О ней знали и раньше: процесс существует в компании много лет, и все участники совещания в нём задействованы. Но именно визуализация помогла по-настоящему осознать масштаб и увидеть закономерности. Узнать подробности о процессе и посмотреть фото этой огромной карты вы можете в статье об этом кейсе.

Визуализация бизнес-процессов «как есть» и «как будет»
Визуализация бизнес-процессов «как есть» и «как будет»

Визуализация позволяет оценить масштаб процессов и выявить закономерности, которые могут быть неочевидны при работе с текстом или числами.

Задачи визуализации данных

В визуализации данных, как и в жизни, разные задачи требуют разных подходов. В аналитике есть два направления:

  • исследовательская аналитика (exploratory analysis);
  • поясняющая аналитика (explanatory analysis).

Исследовательская аналитика — это изучение данных, сравнение значений, выявление закономерностей и поиск ответов на уточняющие вопросы. Подход применяется, когда нет чёткого аналитического запроса, но есть необходимость разобраться в деталях.

Например, аналитик маркетинга хочет выяснить, почему в июне снизилась конверсия покупок в мобильном приложении. Он загружает таблицу с разбивкой по дням, регионам, устройствам и каналам привлечения, строит графики и замечает закономерность: часть кампаний показывает высокую стоимость и низкую конверсию. При детальном просмотре выясняется, что эти кампании проходили в одной стране. Проверив креативы, аналитик находит причину — язык на изображениях не совпадает с языком страны.

На уровне агрегированных данных по стране ошибка почти незаметна, ведь проблема касается только части кампаний. Найти её можно лишь при гибком анализе данных, когда вы визуализируете их. Когда данные детально представлены на графиках, аномалии сразу бросаются в глаза.

Выброс данных в аналитике
Выброс данных в аналитике

Исследовательская аналитика позволяет искать взаимосвязи, находить выбросы и формулировать гипотезы, опираясь на способность мозга быстро замечать аномалии в визуальных данных.

Исследовательскую аналитику с помощью визуализации данных сейчас применяют всё реже. Всё потому, что она позволяет выявить только низко висящие плоды — паттерны, которые легко заметить на паре метрик и тройке срезов. Но современные бизнес-процессы содержат десятки метрик и срезов, поэтому такой тип анализа подходит на начальных этапах внедрения аналитики, но малоэффективен при более зрелом уровне работы с данными.

Исследовательская аналитика остаётся ценной, особенно для небольших компаний или узких направлений, где важны знания предметной области, например в биологии, анализе фондового рынка, юриспруденции или маркетинге. В таких случаях помимо самих данных решающую роль играет понимание специфики и контекста. Вот пример визуализации данных с применением исследовательской аналитики:

Визуализация данных с применением исследовательской аналитики
Визуализация данных с применением исследовательской аналитики

На диаграмме рассеяния слева можно выявлять кластеры рекламных кампаний, а сводный график справа позволяет быстро фильтровать отдельные продукты. Есть гибкие настройки параметров: выбор, какие показатели отображать точками, а какие цветом, — они дают возможность проводить анализ на разных уровнях агрегации.

Поясняющая (операционная) аналитика — это подход, при котором ключевая информация подаётся в понятной и структурированной форме. Такая аналитика используется для оценки текущего состояния и быстрого принятия решений. Здесь важны скорость, читаемость и понятная структура. Так информация отвечает на вопросы пользователей: что происходит сейчас, как изменились метрики относительно предыдущего периода, в каком разрезе бизнеса возникли проблемы и требует ли ситуация немедленной реакции. В этом случае речь идёт не о глубоком анализе, а об интерпретации данных и выявлении проблемных зон. При этом выяснение причин отклонений происходит отдельно, вне работы с этими графиками или дашбордами.

В этой книге мы называем такую аналитику операционной, потому что она встроена в повседневные процессы компании и помогает действовать в моменте.

Операционная аналитика в бизнесе может быть в виде презентаций, аналитических записок, регулярных рассылок таблиц и отчётов или в виде интерактивных дашбордов.

Последний формат наиболее эффективен: он позволяет принимать решения в любой момент на основе постоянно обновляемых данных. Поэтому дашборд похож на интерактивное приложение, которое объясняет актуальное состояние бизнес-процесса и помогает пользователю быстро находить ответы на ключевые вопросы. Но зачастую дашборд не может дать ответ, почему именно что-то случилось.

Сейчас операционная аналитика в бизнесе почти всегда представлена дашбордами.

Тот же аналитик маркетинга хочет проверить, как идут продажи разных продуктов. На экране отображаются ключевые показатели: общее количество лидов, продажи, доля прямого органического трафика и процент потерь. Все метрики под рукой, видны тренды и соотношения.

Менеджер сразу замечает: продукт 8 продаётся лучше всего, но у него высокий процент потерь. Продукт 5, напротив, показывает меньшие обороты, зато пользователи чаще находят и покупают его самостоятельно, то есть доля прямых продаж выше. Здесь нет глубокой аналитики и ответа, почему это происходит, это просто фиксация состояния. При необходимости можно детализировать данные и перейти к более глубокому анализу.

Визуализация данных с применением операционной аналитики
Визуализация данных с применением операционной аналитики

Операционная аналитика помогает увидеть актуальную ситуацию и принять решение, исследовательская — разобраться в причинах и проверить гипотезы.

Разницу между исследовательской и операционной аналитикой можно описать так:

Исследовательская аналитика Операционная аналитика
Исследование данных Поиск быстрых ответов на конкретные вопросы
Поиск первопричин Мониторинг и контроль
Один подробный аналитический дашборд
или полноценные исследования с помощью кода
Система дашбордов

А если коротко:

  • В аналитике выделяют два подхода к визуализации: исследовательская аналитика (exploratory analysis) для изучения данных и операционная аналитика (explanatory analysis) для презентации результата.
  • Опытные аналитики комбинируют подходы: используют операционную аналитику для принятия решений и выявления проблем, а исследовательскую — для проверки гипотез и уточнений. При этом оба направления важны и сильно влияют на результаты бизнеса, но в разной плоскости. Исследовательская аналитика позволяет проверять гипотезы и искать точки роста. Операционная аналитика позволяет быстро реагировать на проблемы и делать процессы прозрачными.
  • В BI-системах чаще применяется операционная аналитика, встроенная в повседневные процессы. Именно ей будет посвящена большая часть книги.

Что такое BI-система

Дашборды создаются в BI-инструментах — специальных приложениях и веб-продуктах, которые позволяют подключаться к данным и визуализировать их. Они используются для создания системы операционной аналитики, или BI-аналитики.

Вокруг термина «BI-аналитика» существует много разночтений. Одни считают, что это анализ данных, другие сводят понятие только к визуализации и дашбордам, а третьи — к подготовке и обработке данных. Я как-то проводил опрос среди подписчиков, и большинство ответило, что понимают под этим именно дашборды и графики. Но в зарубежной практике под Business Intelligence понимают аналитику данных в целом.

В этой книге под BI-аналитикой, или операционной аналитикой, мы имеем в виду набор инструментов, чаще всего дашбордов, который помогает бизнесу управлять процессами на основе данных.

Под BI-системой мы имеем в виду набор элементов:

  • BI-инструменты: один или несколько;
  • артефакты или контент, созданный в этом BI-инструменте (дашборды, графики, рассылки и не только);
  • процессы и правила создания и распространения контента среди аналитиков и бизнес-пользователей.

Задачи BI-системы — предоставить бизнесу инструменты для управления процессами на основе данных.

BI-система — это не только сам инструмент, но и созданные в нём дашборды и правила работы с ними. Недостаточно просто предоставить инструмент для создания визуализаций. Важно понимать, какие именно дашборды будут создаваться, какие задачи они будут решать и как будут выстроены процессы их разработки и использования.

Как BI-система помогает бизнесу

С развитием компаний управление становилось всё сложнее. Увеличивалось количество команд, процессов и данных. Полагаться только на обсуждения с коллегами или собственную интуицию стало недостаточно. Чтобы принимать решения, бизнесу требовались инструменты, которые дают достоверную картину происходящего.

Одним из таких инструментов стали дашборды. Они позволили руководителям видеть ключевые показатели и отслеживать отклонения в реальном времени. BI-системы начали использовать для регулярной сверки с планом и понимания, где компания находится относительно своих целей.

Кстати, вы знали, откуда появилось слово «дашборд»? Раньше кучеры ехали в повозке, и на них летела грязь, камни и всё, что оставлял после себя конь. А потом появился он — дашборд. Так называли деревянную доску на повозке: она защищала кучера от того, что поднималось с дороги. Позднее это слово закрепилось и за приборной панелью автомобиля, где собрана ключевая информация для водителя. В BI-аналитике метафора работает так же: дашборд отсекает лишнее и помогает держать направление.

Дашборд

Дашборд — это один из элементов BI-системы. Он показывает конкретные метрики, оформленные в виде графиков, таблиц, индикаторов и не только. Это интерфейс, через который пользователь получает доступ к данным.

Дашборды экономят деньги и время компании на принятие решений. Они помогают решать многие задачи бизнеса, опишем основные.

Следить за ситуацией в большом бизнесе

Когда компания растёт, объём процессов, данных и участников становится слишком большим, чтобы руководитель мог отслеживать всё лично или тем более держать в голове. BI-система решает эту задачу и обеспечивает регулярный доступ к актуальной картине: как выполняется план, где возникают отклонения, какие зоны требуют внимания. Это снижает зависимость от сотрудников, которые имеют доступ к большему объёму данных и становятся «бутылочным горлышком». Вместо этого руководитель и команда получают общий источник правды.

BI-система не управляет процессами напрямую и не принимает решений. Она обеспечивает обзор и даёт сигналы для уточняющих вопросов. Так, пользователь может заметить, где просела метрика или нарушился цикл, но изменения начинаются только тогда, когда эти данные используют в работе. Это общая ответственность: BI-система не изменит показатели сама. Чтобы был результат, команда должна регулярно работать с данными и использовать их для принятия решений.

Перейти от мнений к суждениям на основе данных

Когда в управлении не хватает данных, обсуждения строятся на ощущениях. BI-система помогает опираться на факты: сверяться с планом, учитывать сезонность, отслеживать тренды.

Пример обсуждений без цифр мог выглядеть так. На совещании отдела продаж звучит: «Мы отлично закрыли месяц. Продажи выше, чем в январе. Всё идёт по плану, продажникам — премия!».

Но хорошего аналитика не провести, он пойдёт проверять данные. Действительно, цифры подтверждают сказанное: в феврале выручка выросла на 15% по отношению к январю. Но стоит открыть дашборд, и контекст меняется. Январь традиционно проседает из-за праздников, а показатели февраля в этом году на 5% ниже прошлогодних. Основной провал в сегменте, который упал на 40%. Значит, стоит обратиться к ответственному отделу и уточнить, почему произошла просадка. Премия пока что отменяется.

На практике решения принимаются не только на основе данных. Они зависят от опыта, договорённостей, давления сроков и человеческого восприятия риска. BI-система — это инструмент, который уточняет ситуацию, но не подменяет собой управленца.

Если интересна тема, прочтите книгу «Думай медленно… решай быстро» Даниэля Канемана. В ней объясняется, как устроено человеческое суждение и почему в принятии решений всегда есть доля нерационального.

Контролировать отклонения и участвовать в изменениях

BI-система позволяет заранее задать условия, при которых стоит обратить внимание на метрику. Если показатель выходит за границы нормы, пользователь получает сигнал в интерфейсе, по электронной почте или в мессенджере. Это даёт возможность отреагировать до того, как показатель станет критичным.

Дашборд — отправная точка для запуска изменений, ведь визуализация позволяет сразу заметить отклонение. Далее для внедрения изменений используются классические методологии, например DMAIC (в рамках Six Sigma) или PDCA (в Lean-подходах):

Процесс запуска изменений в бизнесе
Процесс запуска изменений в бизнесе

Чтобы методология работала, важно встроить дашборды в регулярные встречи и процессы. Тогда они становятся точкой опоры: позволяют зафиксировать отклонение, сформулировать гипотезы и запустить цикл изменений.

Если вам интересны управленческие инструменты, прочтите книгу «Кайдзен: Ключ к успеху японских компаний» Масааки Имаи, основателя концепции Continuous Improvement. Он, кстати, автор важной мысли о принятии решений в компании: «Чтобы внедрить изменения, нужны три вещи: желание высшего руководства, желание высшего руководства, желание высшего руководства».

Проверить корректность процессов

Разработка дашборда помогает проверить, как устроены бизнес-процессы и работают ли они корректно. В ходе создания возникают вопросы: какие решения вы принимаете, на какие данные опираетесь, что делаете при отклонениях, кто именно принимает решение и как. При правильном ответе на эти вопросы процессы становятся прозрачнее и для заказчика, и для команды, которая строит аналитику. Иногда выясняется, что процесс идёт не так, как ожидалось, и его надо исправить.

Есть даже dashboard-first-подход к созданию продуктов и процессов. В этом подходе перед запуском продукта или процесса сначала проектируют дашборд, который позволит контролировать его работу, а уже затем прорабатывают детали реализации.

Если процессы уже существуют и по ним собираются данные, то дашборды позволяют находить отклонения в процессах.

А если коротко:

  • BI-система помогает принимать решения на основе данных.
  • Дашборды не управляют бизнесом, но дают повод для вопросов, запускают обсуждения и становятся точкой входа в изменения.
  • Чтобы BI-система приносила пользу, её использование нужно встроить в повседневную работу и развивать процессы изменения и принятия решения в компании.
  • Подготовка BI-системы позволяет проверить корректность процессов и сделать их более прозрачными.

BI-система как продукт

Чтобы BI-система приносила ценность в долгосрочной перспективе, к ней нужно относиться как к продукту. Это важное изменение подхода: не просто давать инструмент, а управлять всем циклом жизни пользователей внутри этого инструмента. Отвечать не только за техническую работу системы, но и за логику её работы.

Когда я пришёл работать в Яндекс Такси, в компании уже около года была развёрнута BI-система. Но у этой системы не было владельца, который отвечал бы за её бизнес-ценность как продукта. Инструмент просто выдали аналитикам и позволили им создавать дашборды. За год их количество выросло в геометрической прогрессии и достигло примерно трёхсот. При этом качество дашбордов и удобство работы с системой оставляли желать лучшего. Количество визуализаций увеличивалось, а удовлетворённость бизнеса — наоборот, снижалась.

Во многих компаниях в такой ситуации решают сменить BI-инструмент, хотя проблема кроется не в технологии, а в процессах. За два года работы с BI-системой как с продуктом мы выстроили стратегию развития дашбордов, систему обучения пользователей и стандарты, которые позволили повысить ценность аналитики для бизнеса.

В BI-системе, как и в любом продукте, нужно выделить пользователей, сценарии, фидбэк, метрики и план развития. BI-система развивается итеративно: появляются новые дашборды, пересматриваются старые, учитываются сигналы от команд, добавляются функции. Система адаптируется и растёт вместе с бизнесом.

Для того чтобы управлять BI-системой как продуктом, можно придерживаться трёх подходов:

  • Развитие через итерации и исследования. Важно изучать пользовательский опыт и выявлять точки затруднений. На основе этих сигналов вы сможете доработать систему, и она станет удобнее для принятия решений.
  • Разделение на компоненты. Это части BI-системы: цели бизнеса, контент и процессы. Каждый из этих компонентов вы можете развивать как отдельный подпродукт со своей стратегией и анализом.
  • Использование метрик. Применяйте показатели, которые оценивают эффективность BI-системы. Анализируйте их, чтобы понять, что стоит улучшить в BI-системе.

Рассмотрим каждый из этих подходов более подробно.

Итерации и исследования

Чтобы понять, как пользователи работают с BI-системой, можно проводить качественные и количественные исследования. Важно учитывать, что у BI-системы есть два типа пользователей:

  • создатели контента — аналитики, которые разрабатывают дашборды;
  • потребители контента — бизнес-пользователи и аналитики, которые эти дашборды просматривают.

BI-систему можно сравнить с видеохостингом: если аналитик создаёт интересный и полезный ролик (дашборд), им пользуются чаще и охотнее делятся с коллегами.

Для количественных исследований можно использовать опросы пользователей, например, раз в полгода. Подробнее о таких опросах вы узнаете в блоке Как измерить BI-систему.

Для проведения качественных исследований подойдут методы проблемных интервью и построения Customer Journey Map. Такие подходы особенно полезны для оценки работы аналитиков, которые создают дашборды.

Мы старались проводить такие исследования хотя бы раз в год, чтобы понять, какие есть проблемы и как их исправить. Вот пример Customer Journey Map, который мы составляли после проведения интервью.

Customer Journey Map на основе интервью
Customer Journey Map на основе интервью

Благодаря интервью мы понимали, что стоит исправить в первую очередь, и проверяли гипотезы по улучшениям. После этого составляли план изменений, необходимых для внедрения. В работе с фреймворками Dashboard Map и Dashboard Canvas нет глубокой специфики. Главное, что они дают, — это возможность понять контекст использования продукта и составить план работ исходя из общей картины, а не обрывочных знаний. Сама же реализация изменений сводится к обычному управлению проектами.

Компоненты BI-системы

BI-система — это сложный продукт, в котором за разные части отвечают разные специалисты. Управляя BI-системой как продуктом, учитывайте, с каким именно компонентом вы работаете.

Ниже описаны ключевые компоненты BI-системы. Это моя модель, основанная на опыте работы с несколькими BI-системами и их развития как продукта.

Модель бизнеса и цели

Основа BI-системы. В неё входят ключевые значения и плановые показатели, которые описывают цели и бизнес-процессы компании. Без этой информации невозможно понять, какие отчёты строить, как интерпретировать метрики и на что ориентироваться при принятии решений.

Если этого компонента нет, то нет смысла строить BI-систему. Это как ехать в путешествие, но без конечной точки: движение есть, но непонятно, куда.

Моделью бизнеса и целями обычно занимаются стратегические аналитики, бизнес-аналитики и топ-менеджеры. Именно они определяют, что считать успешным результатом и какие процессы важно отслеживать.

Часто получается так, что этот компонент находится вне зоны ответственности BI-аналитика, а является входной информацией для работы. Но если её нет, то и управлять BI-системой как продуктом почти невозможно.

В этой книге мы не будем говорить про модель бизнеса и стратегические цели.

Моя любимая книга на эту тему — «Стратегия голубого океана» Чана Кима и Рене Моборна, а из методик можно обратить внимание на OKR (Objectives and Key Results, «цели и ключевые результаты») — методику постановки, синхронизации и мониторинга целей и ключевых результатов на уровне организации.

Контент

Всё, что пользователь видит в интерфейсе BI-инструмента: дашборды, графики, рассылки, алерты и не только. За эту часть BI-системы как раз полностью отвечает BI-аналитик.

Частая проблема — хаотичное создание отчётности. Дашборды появляются по запросу, дублируются, теряются, не соответствуют стандартам. BI-система превращается в склад разрозненной информации, с которой сложно работать.

Структурировать информацию поможет система дашбордов, которая состоит из разных типов отчётов. Большая часть книги посвящена именно этому компоненту продукта: вы узнаете, как правильно подойти к разработке дашбордов, чтобы ими пользовались и они были эффективны.

Инфраструктура и процессы

Процессы и артефакты, которые обеспечивают работоспособность всей BI-системы:

  • стайлгайды и шаблоны;
  • обучение и онбординг;
  • система доступов;
  • поддержка пользователей;
  • политика управления контентом;
  • коммуникационная политика;
  • инфраструктура и техническая часть;
  • портал, бот и другие вспомогательные части.

За этот компонент отвечают инфраструктурные core-команды, которые управляют системой как продуктом. Они создают среду, в которой аналитикам удобно работать, и регламентируют процессы, а пользователи понимают, как найти нужную информацию и что с ней делать. Про эту часть мы поговорим подробно в главе про внедрение BI-системы.

Как измерить BI-систему

В идеальном мире для оценки BI-системы можно было бы использовать метрики:

  • Time-to-Insight — за какое время пользователь находит нужный ответ;
  • денежная выгода от решений, принятых с помощью системы.

Но в реальной жизни измерить их невозможно или само измерение будет настолько затратным, что сведёт на нет всю потенциальную выгоду. Чтобы оценить и отследить каждое решение, принятое с использованием BI-системы или без неё, потребовалось бы огромное количество времени и готовность людей подробно записывать свои действия.

Когда встал вопрос, как измерять работу BI-системы, мы с командой разработали прокси-метрики, которые позволяют косвенно оценивать её эффективность. При их формировании мы шли от цели: определяли ключевые результаты и искали способы, как их можно измерить.

Облако вопросов для поиска метрик
Облако вопросов для поиска метрик

В результате мы с командой выявили метрики, которые помогают косвенно оценить состояние системы. Группы этих метрик:

  • качество отчётности;
  • скорость использования;
  • вовлечённость;
  • инфраструктура.

Чётких стандартов по метрикам нет, но я делюсь ориентирами, на которые сам опираюсь в работе. Как говорится, разбудите меня через тридцать лет и спросите, что делают в аналитике. Я отвечу: пытаются придумать метрики и спорят о целевых значениях.

Качество отчётности

Если отчёт не решает задачу, он не нужен, вне зависимости от визуального оформления или технической реализации. Поэтому первый критерий оценки BI-системы — это качество контента как главного компонента системы.

Отзывы пользователей об отчётности (аналог NPS)

Раз в полгода стоит проводить опрос среди бизнес-пользователей, чтобы понять, насколько удобно работать с отчётностью. Это не классический NPS, но формат схожий: пользователи ставят оценку от 1 до 10 по нескольким направлениям. Оценка 1 — «работать невозможно», а 10 — «всё идеально».

Ключевой вопрос: «Оцените по шкале от 1 до 10 отчётность, которой вы пользуетесь регулярно (в любом инструменте)».

Дополнительно можно предложить оценить качество по другим утверждениям:

  • «Отчёты помогают принимать бизнес-решения»;
  • «В отчётах есть нужные метрики и срезы»;
  • «Понятно, как считаются KPI»;
  • «Данные корректные и полные»;
  • «Информация обновляется вовремя»;
  • «Легко найти нужный или новый отчёт»;
  • «Отчёты быстро загружаются»;
  • «Визуализация отчётов понятная»;
  • «Интерфейс отчётов удобный».

Оставляйте возможность для текстовых комментариев, из них можно получить инсайты, которые не видны в цифрах. А по результатам опроса можно построить дашборд.

Показатели отзывов пользователей об отчётности
Показатели отзывов пользователей об отчётности

Целевое значение — 8,5.

Процент просмотров сертифицированных отчётов

Эта метрика показывает, обращаются ли пользователи к проверенным и качественным отчётам. Для оценки отчёты делятся на две категории:

  • сертифицированные прошли ревью и соответствуют стандартам;
  • несертифицированные не проходили проверку или не соответствуют требованиям.

Сертификация проводится на ревью каждого отчёта, который попадает в продакшен-среду. Проверяются:

  • наличие описания и понятного названия отчёта;
  • корректность расчётов;
  • правильность настроек доступа;
  • использование стандартов визуального оформления;
  • удобство и UX-структура;
  • оптимальность написанного кода (например, SQL или формулы в DataLens).

Если отчёт проходит по критериям, он получает статус сертифицированного и входит в целевую когорту.

Необязательно сертифицировать все отчёты. Достаточно, чтобы качественными были ключевые, а длинный хвост вспомогательных отчётов может оставаться несертифицированным, если он не мешает работе.

Ключевая метрика — просмотры сертифицированных отчётов / общее число просмотров.

Чтобы избежать искажений, есть правила:

  • учитывается только один просмотр пользователя в день;
  • просмотры взвешиваются по роли: для топ-менеджеров вес выше, поскольку их решения больше влияют на развитие компании. Сами веса подбираются так, чтобы влияние топ-менеджмента давало примерно 25% от общего количества просмотров.

Расчёт процента просмотра сертифицированных отчётов
Расчёт процента просмотра сертифицированных отчётов

Высокий показатель означает, что основная активность приходится на проверенную отчётность, а это, в свою очередь, повышает качество и скорость принятия решений.

Целевое значение — 80%.

Скорость использования системы

Даже если отчёт полезен, он не принесёт результата, если до него сложно добраться или он долго открывается. Метрики этой группы показывают, насколько легко и быстро пользователь получает нужную информацию.

Простота получения доступов

Первое соприкосновение с BI-системой — это доступ к отчётам. Этот этап должен быть простым и быстрым.

Лучше всего, когда пользователю автоматически доступны все отчёты, которые полезны для его работы и не нарушают политику безопасности компании. Это можно сделать за счёт создания групп доступа по ролям и подразделениям. Если человек выходит в команду, он сразу должен быть в нужных группах доступа и получить доступ к нужным дашбордам. А если появляется новый отчёт, то на него завешивается нужная группа, и все её участники сразу получают доступ.

Поэтому ключевой метрикой можно считать отклонение от группового режима — среднее количество персональных ролей, выданных одному сотруднику для получения доступа к отчётам.

Если число растёт, это сигнал, что структура доступов не работает. В этом случае нужно создать новые группы и обучить аналитиков корректно формировать группы и раздавать доступы.

Целевое значение — не более 5.

Если же система построена не на групповых доступах, то можно измерять количество запросов на доступы и скорость реакции на них.

Скорость работы дашбордов

Пользователи не будут работать с дашбордом, который долго загружается, даже если данные в нём полезны.

Это одна из самых очевидных, но при этом самых частых проблем в BI-системах.

Часть факторов, которая влияет на скорость загрузки:

  • производительность баз данных;
  • качество реализации дашборда;
  • число одновременных пользователей;
  • действия самого пользователя.

Ключевая метрика — скорость первичной загрузки отчётов.

Целевой показатель — 80% отчётов на сервере открываются менее чем за 5 секунд.

Качество онбординга

Важно, чтобы новые пользователи ориентировались в BI-системе и понимали, как с ней работать, это сильно влияет на скорость погружения в работу с системой. Для этого необходима система онбординга.

Можно пригласить всех пользователей, получивших доступ к отчётности, пройти онлайн-обучение. Это помогает зафиксировать базовые принципы работы с системой и снизить нагрузку на поддержку.

Онбординг можно измерять через метрики:

  • количество сотрудников, приглашённых на курс;
  • процент тех, кто прошёл обучение до конца;
  • точность ответов на контрольные вопросы.

Ключевая метрика — пользователи, полностью прошедшие обучение / пользователи, приглашённые на курс.

Целевой показатель — 60%.

Вовлечённость

Метрики показывают, насколько активно сотрудники взаимодействуют с отчётностью и используют ли данные в работе.

Охват пользователей

Показатель оценивает, насколько система встроена в повседневную работу сотрудников. Если системой пользуются только аналитики и отдельные менеджеры, говорить о data-driven-подходе преждевременно. Широкий охват особенно важен на первых этапах внедрения и при переходе к self-service-аналитике.

Ключевая метрика — пользователи BI-системы / общее количество сотрудников.

Целевое значение варьируется по отраслям. Для современных IT-компаний этот показатель должен составлять 60–80%.

Ежедневная и ежемесячная аудитория

Эти метрики помогают отслеживать активность пользователей: сколько сотрудников заходят в систему ежедневно (DAU) и ежемесячно (MAU). Они дают общее представление о нагрузке на сервер и скорости роста продукта.

Ключевые метрики — DAU и MAU BI-системы.

Здесь важны не абсолютные значения, а динамика: растёт ли использование, появляются ли новые пользователи, возвращаются ли старые. Жёстких целевых ориентиров нет, используйте метрику как справочный показатель.

RFM-анализ аудитории

К BI-системам можно применять классические продуктовые подходы. Один из них — RFM-анализ (Recency, Frequency, Monetary), который помогает понять, как сотрудники взаимодействуют с системой.

Пользователей сегментируют по критериям:

  • Recency — количество дней с последнего посещения сервера;
  • Frequency — частота просмотров отчётов;
  • Monetary — уровень пользователя в иерархии: чем выше, тем больше влияние. Для расчёта используется коэффициент, зависящий от позиции: топ-менеджер — 10, его подчинённый — 5, следующий уровень — 3.

Ключевая метрика — частота использования × коэффициент уровня.

Такой подход позволяет выделить наиболее значимых и активных пользователей. Дополнительно можно проанализировать повторное использование BI-системы по группам — сколько сотрудников возвращается к работе с отчётами через неделю, месяц и позже. Это помогает выявить устойчивые паттерны и спланировать, например, закупку лицензий или поддержку команд.

Пример RFM-анализа аудитории
Пример RFM-анализа аудитории

У RFM-анализа нет целевых значений, но он даёт ценную информацию о поведении разных групп пользователей.

Инфраструктура

Последнее направление, за которым стоит следить с помощью метрик, — техническое состояние системы. Оно напрямую влияет на стабильность и доступность BI-системы в повседневной работе. Среди метрик:

  • Доступность — доля времени, когда система доступна пользователям. Целевой показатель — 99%.
  • Процент ошибок — ошибки при обновлении данных или критические ошибки в логах сервера — зависит от особенностей BI-системы.
  • Загрузка мощностей — нагрузка на процессор (CPU) и использование оперативной памяти (RAM) сервера. Для этого удобно использовать систему мониторинга вроде Grafana, которая показывает загрузку в реальном времени.

Собрали все метрики в единую таблицу. Используйте её, чтобы ориентироваться на целевые значения.

Метрики для оценки BI-системы

Метрика Описание Целевое значение
Качество отчётности
Средняя оценка отчётности (опрос пользователей) Оценка удобства и пользы отчётности по шкале от 1 до 10 по критериям 8,5
Процент просмотров сертифицированных отчётов Доля просмотров сертифицированных отчётов по отношению ко всем отчётам 80%
Скорость использования системы
Простота получения доступов Среднее количество персональных ролей для доступа Не более 5
Скорость работы отчёта Процент отчётов, загружающихся менее чем за 5 секунд 80%
Качество онбординга Доля пользователей, полностью прошедших обучение по BI-системе 60%
Вовлечённость
Охват пользователей Доля сотрудников компании, которые используют BI-систему 60–80% для IT-компаний
Ежедневная и ежемесячная аудитория DAU и MAU BI-системы Нет фиксированного значения, важна динамика
RFM-анализ аудитории Произведение частоты использования отчётов и коэффициента уровня сотрудника Нет фиксированного значения, применяется для сегментации пользователей
Инфраструктура
Доступность Доля времени, когда система доступна пользователям 99%
Процент ошибок Ошибки при обновлении данных или критические ошибки в логах сервера Нет фиксированного значения, чем меньше — тем лучше
Загрузка мощностей CPU и RAM сервера Нет фиксированного значения

Собранные метрики можно отобразить на дашборде: поделить их по блокам и отслеживать ежедневно.

В хороших BI-инструментах часть метрик уже считается заранее, и это позволяет легко управлять контентом. Например, в DataLens есть два подключения (Light и Detailed), встроенных в саму систему. Они позволяют в один клик получить данные об использовании разных объектов системы и развернуть заранее созданные дашборды. Подробнее про эти подключения можно прочитать в документации DataLens.

Статистика использования сервиса DataLens
Статистика использования сервиса DataLens

А если коротко:

  • Продуктовый подход применим к BI-системе: система включает компоненты, процесс исследования и итераций и метрики.
  • BI-система состоит из трёх компонентов: целей бизнеса, контента и процессов.
  • Экономическую эффективность BI-системы сложно измерить напрямую, но можно использовать косвенные метрики по категориям: качество отчётности, скорость использования системы, вовлечённость и инфраструктура.
  • Для отслеживания метрик можно создавать «дашборды о дашбордах» и управлять системой на их основе.

Главное о BI-системе как продукте

Визуализация данных может работать как исследовательская или описательная аналитика. В бизнесе самый частый инструмент описательной аналитики — это дашборд, который презентует конкретные метрики и графики.

BI-система — это не только инструмент для сбора, анализа и визуализации данных, но и набор процессов и подходов вокруг него. Он помогает бизнесу принимать решения на основе данных. Чтобы система работала стабильно и приносила пользу, её нужно развивать как продукт.

  • Чтобы BI-система работала на бизнес-цели, нужно организовать среду: описать цели, структурировать отчётность, наладить поддержку и улучшать систему при необходимости.
  • В основе BI-системы три компонента: цели бизнеса, контент и процессы. Каждый требует управления и может развиваться как отдельный подпродукт.
  • Измерить экономический эффект от BI-системы напрямую почти невозможно. Вместо этого используйте косвенные метрики: качество отчётности, скорость использования, вовлечённость и состояние инфраструктуры.
  • Метрики дают сигнал, что в системе работает хорошо, а где нужны изменения. Они помогают отслеживать прогресс, выявлять узкие места и принимать решения на основе данных даже о самой BI-системе.

В следующей главе вы узнаете, как улучшать важный компонент BI-системы — контент. Расскажем о типах дашбордов и задачах, которые они решают.

Предыдущая