Правило различения
Возьмите любое число из отчёта и задайте два вопроса. Что вы сделаете, если оно вырастет вдвое? Что вы сделаете, если оно упадёт вдвое? Если оба ответа — «ничего», это отчётная величина, и место ей в приложении, а не на первом экране.
Тест грубый и работает лучше классификаций. Списки «плохих метрик» устаревают и всегда спорны, а вопрос про решение задаётся к любой величине и не требует согласия сторон: если действие не называется, спорить не о чем.
Второй признак, менее известный и более надёжный: метрика для решения умеет ухудшаться. Накопленное число подписчиков не падает, суммарные показы за всё время не падают, число опубликованных материалов не падает. По таким величинам невозможно проиграть — а измерение, в котором нельзя проиграть, ничего не проверяет.
Что различается
| Критерий | Величина для отчёта | Величина для решения |
|---|---|---|
| Поведение во времени | Растёт накопительно, почти не падает | Может ухудшиться в любой момент |
| Что происходит при остановке вложений | Остаётся на достигнутом уровне | Реагирует в пределах отчётного периода |
| Расстояние до денег | Несколько допущений между числом и выручкой | Одно деление или прямая связь |
| Какое действие следует | Обычно никакое | Отключить, перераспределить, изменить предложение |
| Кто её обычно приносит | Сторона, отчитывающаяся о работе | Сторона, оплачивающая работу |
| Как выглядит плохой результат | Замедление роста | Явное ухудшение с понятным порогом |
| Чем проверяется | Сравнением с прошлым периодом | Отключением канала и наблюдением |
| Что с ней делает смена методики | Ломает сравнение периодов незаметно | Ломает сравнение заметно, потому что расходится с деньгами |
Пятая строка объясняет устойчивость проблемы лучше остальных. Отчётные величины приносит тот, кто отчитывается, и это не обязательно уловка: накопительные числа проще получить, они всегда доступны и не вызывают неудобных вопросов. Так складывается отчёт, в котором всё растёт, а разговор о деньгах происходит отдельно и без цифр.
Восьмая строка про смену методики — источник самых долгих споров. Если в середине года изменилось определение визита, разметка или модель атрибуции, накопительные графики продолжат расти как ни в чём не бывало. Метрика, привязанная к деньгам, в этот момент разойдётся с бухгалтерией — и разрыв станет заметен.
Тест на четыре вопроса
Проверка любой величины перед тем, как выносить её на первый экран.
Назовите решение при росте. Не «поймём, что идём правильно», а конкретное действие: увеличить бюджет канала, расширить набор формулировок, поднять цену.
Назовите решение при падении. Здесь отсеивается большинство. Падение охвата обычно не ведёт ни к чему, кроме объяснения в отчёте.
Найдите порог. При каком значении вы точно что-то сделаете. Если порога нет, значение не читается — читается только направление, а направление у накопительных величин всегда одно.
Проверьте расстояние до денег. Сколько допущений отделяет число от выручки. Стоимость привлечения отделена одним делением, вовлечённость — цепочкой из трёх-четырёх предположений, каждое из которых спорно.
Пограничные случаи
Деление на «пустые» и «полезные» относится не к метрике, а к паре «метрика плюс решение». Одна и та же величина меняет роль в зависимости от того, что вы собираетесь с ней делать.
Показы бесполезны как цель и необходимы как знаменатель. Без них нельзя посчитать кликабельность и нельзя понять, что именно случилось при падении переходов: спрос упал или объявление перестало работать. Порядок такой проверки описан в материале про падение трафика, и первым шагом там стоит именно разложение на показы и кликабельность.
Охват бесполезен как отчёт о работе и осмыслен как ограничение: если охват меньше вашей аудитории в разы, обсуждать конверсию рано. Здесь он отвечает на вопрос «есть ли куда расти», а не «хорошо ли сработали».
Подписчики бесполезны как накопленное число и полезны как база для сегмента. Величина «сколько подписчиков совершили покупку за квартал» умеет падать и ведёт к действию; величина «сколько подписчиков всего» не умеет.
Условный пример на разложение. Показы выросли вдвое, кликабельность упала вдвое — переходов ровно столько же. Отчёт с одними показами покажет успех, отчёт с одними переходами покажет застой, и оба будут неполны. Решение принимается по третьей величине: изменилась ли стоимость целевого действия — механика в разборе стоимости целевого действия.
Когда ответ меняется
Продаж ещё нет. У нового продукта денежные метрики не определены, и роль решающей временно берёт величина ближе к началу пути: доля дошедших до ключевого действия, стоимость подтверждённого интереса. Требования сохраняются — уметь ухудшаться и вести к действию.
Цикл сделки длиннее отчётного периода. Месячная окупаемость в таких условиях считается по неполным данным и вводит в заблуждение сильнее, чем охватная метрика. Решающими становятся промежуточные величины по этапам и когортное чтение — иначе решение принимается по хвосту, который ещё не сформировался.
Кампания действительно охватная. Когда задача — узнаваемость, охват перестаёт быть отчётной величиной и становится предметом измерения, но измеряется он не сам по себе, а замером изменения узнаваемости — см. прирост узнаваемости. Без замера остаётся прежняя ситуация: число, по которому нельзя проиграть.
Метрика стала целью и потеряла смысл. Как только по величине начинают премировать, её оптимизируют напрямую, и связь с исходной задачей рвётся. Показатель отказов улучшается техническим событием, время на странице — автовоспроизведением. Это общее свойство измерений, а не свойство маркетинга.
Данные ненадёжны. Если разметка сломана, точная денежная метрика хуже грубой охватной: она выглядит убедительно и при этом неверна. Пока не восстановлены метки и цели, честнее признать, что решение принимается без данных.
Ложная развилка
Противопоставление обычно формулируют как «убрать пустые метрики и оставить настоящие». Постановка неверна дважды.
Во-первых, отчётные величины не лишние — у них другая роль. Они объясняют, откуда взялось изменение денежной метрики. Убрав показы, вы не сможете ответить, почему выросла стоимость заявки: подорожал аукцион, упала кликабельность или сжался спрос. Правильное действие не «выбросить», а «переставить»: решающие величины наверх, диагностические под них.
Во-вторых, спор о метриках часто заменяет спор о решениях. Список показателей обсуждать приятно и безопасно, а вопрос «при каком значении мы закроем этот канал» звучит неудобно и требует ответа заранее. Отчёт без заранее названных порогов остаётся описанием происходящего при любом наборе величин — даже если все они денежные. Как это выглядит на одном экране, разобрано в материале про приборную панель, а разбор трёх денежных метрик, которые дают три разных ответа из одних данных, — в сравнении ROI, ROMI и ДРР.
В отчёте всё растёт, а выручка стоит. Отчёт собран из накопительных величин, по которым нельзя проиграть. Добавьте к каждому блоку одну метрику, умеющую ухудшаться, и назовите пороги до начала следующего периода.
Метрика улучшилась сразу после того, как по ней начали премировать. Показатель оптимизируется напрямую, минуя задачу, ради которой его выбрали. Проверьте, изменилась ли денежная величина за тот же период; если нет, показатель перестал измерять то, для чего его брали.
Стоимость заявки выросла, объяснения нет. Не хватает диагностических величин: разложите её на показы, кликабельность и конверсию и посмотрите, какой множитель сдвинулся. Без разложения обсуждение сведётся к общим словам про рынок.
Два отчёта об одном периоде расходятся. Разные определения одной величины или разные модели атрибуции. Сверьте определения до спора о выводах — иначе спорить будете о разных числах, считая их одним.
Как перестроить отчёт за один подход
Порядок, который занимает меньше часа и не требует новых инструментов.
Выпишите все числа из текущего отчёта в столбец. Напротив каждого напишите решение, которое вы приняли бы при его ухудшении вдвое. Строки, где написано «ничего», перенесите в нижнюю часть документа — не удаляйте, они понадобятся для объяснений. Для оставшихся назначьте пороги: значение, при котором вы вмешаетесь. Проверьте, что для каждого порога понятно, кто именно вмешается.
Чаще всего после такой сортировки наверху остаётся три-четыре величины, и почти всегда среди них есть стоимость привлечения и что-то про окупаемость — ROMI или доля расходов в доходе. Остальное уходит вниз, и отчёт становится короче примерно вдвое. Сопротивление этой процедуре обычно возникает не у аналитиков, а у тех, чья работа описывалась перенесёнными вниз строками, — и это тоже полезная информация. Как связать оставшиеся величины с экономикой продукта, разобрано в материале про юнит-экономику, а выбор между каналами по этим величинам — в сравнении платного и органического трафика.
Спорное место
Тест «меняет ли число решение» удобен и содержит скрытое допущение: что решения вообще принимаются.
В компании, где бюджет утверждён на год и не пересматривается, решающих метрик нет ни одной — по любому числу ответ будет «ничего не сделаю». Формально тест объявит весь отчёт бесполезным, и формально он будет прав, но вывод окажется не про метрики, а про устройство управления. Различать эти два диагноза тест не умеет, а лечатся они по-разному.
Второе сомнение серьёзнее. Требование «метрика должна вести к действию» подталкивает к величинам с быстрой реакцией, потому что по ним удобно принимать решения. Быстро реагируют вещи ближе к концу воронки — стоимость клика, стоимость заявки, недельная конверсия. Всё, что работает медленно и накапливается — узнаваемость, доверие, повторные покупки, — по этому критерию проигрывает и уезжает вниз отчёта, хотя определяет результат на длинном горизонте сильнее. Получается тот же перекос, что и в любой системе измерений: управляют тем, что успевает измениться до совещания. Частичная страховка — держать хотя бы одну медленную величину с годовым горизонтом и не требовать от неё ежемесячных объяснений. Признавать при этом, что решение по ней вы примете нескоро, честнее, чем делать вид, будто быстрые метрики закрывают весь вопрос.
Частые вопросы
Значит ли это, что показы и подписчиков считать не нужно?
Как быстро понять, что метрика в отчёте бесполезна?
Почему отчёты так часто состоят из растущих чисел?
Какие метрики точно относятся к решениям?
Что делать, если у продукта ещё нет продаж?