Правило выбора
Дробить замысел на быстрые проверки имеет смысл, пока выполняются два условия. Проверка заметно дешевле ошибки, которую она предотвращает. И ответ приходит раньше, чем решение потеряет смысл.
Обе величины — дроби, и обе считаются до начала работ. Первая: цена неудачного запуска, делённая на стоимость проверки. Если частное близко к единице, дробление не окупается — вы платите почти полную цену за неполный ответ. Вторая: срок получения ответа, делённый на срок, к которому нужно решение. Если частное больше единицы, проверка бесполезна при любой цене, потому что результат придёт после того, как выбор сделают за вас.
Отсюда следует неочевидное: осторожность не всегда означает проверку. Там, где проверка дорога и медленна, осторожнее запустить целиком, но с заранее названной точкой выхода. Порядок формулирования самих проверок — отдельная тема, разобранная в материале о гипотезах роста; здесь речь о том, стоит ли вообще резать замысел на части.
Что различается
| Признак | Быстрые проверки | Большой запуск |
|---|---|---|
| Что теряется при неудаче | Стоимость самой проверки и срок | Вложенное целиком плюс занятое время команды |
| Когда приходит ответ | Частями, в пределах недель | Одним куском, после завершения |
| О чём именно ответ | Об одном допущении | О пакете целиком, без разбора причин |
| Обратимость | Высокая, откат дешевле запуска | Низкая, часть решений назад не берётся |
| Главный расход | Время команды и переключения между задачами | Деньги и принятые обязательства |
| Какие эффекты видны | Только те, что живут на малом объёме | В том числе возникающие на масштабе |
| Чем ломается на практике | Проверяют удобное, а не решающее | Не останавливаются, когда данные против |
| Что делает с планом ошибка | Отменяет один шаг | Отменяет год |
Третья строка — главное различие по существу. Проверка отвечает про одно допущение и потому даёт переносимое знание: понятно, что именно подтвердилось. Крупный запуск отвечает про всё сразу, и при отрицательном результате разобрать его на причины нечем — непонятно, подвело предложение, канал, цена или срок выхода. Поэтому неудачный большой запуск стоит дороже своей суммы: он ещё и не учит.
Шестая строка работает в обратную сторону. Ряд эффектов не существует на малом объёме: узнаваемость не набирается за три недели, автоматика площадки не выходит из режима подбора при малом числе событий, служба поддержки не встречается с очередью. Пилот честно сообщает, что ничего этого не произошло, и это сообщение принимают за отрицательный результат.
Из чего складывается цена ошибки
Считают обычно первую треть и забывают две остальные.
Потраченное. Деньги, оплаченные часы, закупленные размещения. Единственная часть, которая попадает в таблицу, и обычно самая маленькая.
Потерянное время. Три месяца, ушедшие на неверное направление, — это не только расход, но и три месяца, которых не было у верного. При длинном цикле сделки потеря удваивается: результат пропущенного периода вы увидели бы ещё позже. Связь срока с деньгами разобрана в материале про срок окупаемости, а чтение результата по периодам входа — в разборе когорт.
Необратимое. Объявленная цена, публично данное обещание, отправленное по всей базе письмо, смена позиции на рынке. Эти вещи назад не берутся: рынок запоминает, а вернуться к прежнему заявлению дороже, чем сделать новое. Именно эта часть не имеет числа и потому выпадает из расчёта — а решает она больше двух предыдущих.
Условный пример на первую дробь. Открытие направления стоит 400 000 у. е. и три месяца. Проверка на одном сегменте — 40 000 у. е. и три недели. Частное близко к десяти, ответ приходит вчетверо раньше, дробить стоит. Если же проверка обходится в 250 000 у. е. и два с половиной месяца, частное падает ниже двух, а ответ приходит почти к сроку решения — при этих числах дешевле запускать, зафиксировав, при каком результате направление закроют. Допустимую границу расхода в обоих случаях выводят из юнит-экономики, а не из настроения.
Что теряется в каждом варианте
У быстрых проверок потеря скрытая. Проверяется то, что удобно проверить: тексты, страницы, шаги оформления, формулировки писем. Всё это обратимо и дёшево — и потому почти никогда не является тем допущением, на котором держится план. Команда, проверившая два десятка мелочей, ощущает себя осторожной, хотя главный вопрос — тот ли это рынок и то ли предложение — остался нетронутым. Проверки дают ощущение движения при неподвижном решении, и это отдельный вид самообмана, близкий к отчётам, разобранным в сравнении метрик для отчёта и для решений.
У большого запуска потеря явная и другая по природе. Чем больше вложено, тем труднее остановиться: потраченное начинает работать аргументом в пользу продолжения, хотя к будущему результату отношения не имеет. Лечится это единственным способом — точкой выхода, записанной до старта. Дата, значение и имя человека, который объявляет остановку. Запись стоит ноль и заменяет половину проверок, потому что переводит необратимое решение в разряд ограниченных по потерям.
Вторая защита того же рода — ограничение охвата без уменьшения самого запуска. Одна территория, одна категория, один сегмент. Замысел выполняется целиком, эффекты масштаба внутри участка проявляются, а цена ошибки падает вместе с охватом. Это не пилот и не проверка в строгом смысле — это запуск с потолком потерь, и в плане расходов он так и записывается.
Когда ответ переворачивается
Ошибка не откатывается. Там, где неудача меняет цену, обещание или репутацию, проверка на ограниченном участке обязательна, даже если её частное близко к единице. Здесь платят не за скорость, а за право передумать.
Эффект появляется только на масштабе. Узнаваемость, накопленная аудитория, работа алгоритмов площадки при достаточном числе событий. Дробление в этих случаях измеряет не идею, а собственную недостаточность.
Окно закрывается по календарю. Сезон, договорённость, действие партнёра. Проверка, ответ которой приходит после закрытия окна, — это способ не принять решение, оформленный как осторожность; логика подготовки к короткому пику разобрана в материале про медиаплан.
Результат некуда применить. Если при подтверждении не найдётся ни денег, ни людей на масштабирование, проверка превращается в трату. Вопрос «что мы сделаем при удачном исходе» задаётся до неё, а не после, и ответ на него упирается в размер рекламного бюджета не меньше, чем в желание.
Поток мал по устройству. При единичных сделках в месяц сравнение вариантов упирается в отсутствие наблюдений — ограничение подробно разобрано в материале про A/B-тесты. Остаётся разбор каждой сделки поштучно и уменьшение цены ошибки вместо уменьшения размера шага.
Ложная развилка
Противопоставление держится на допущении, что проверять и запускать — взаимоисключающие режимы. На практике работа устроена иначе: замысел разбирается на необратимое ядро и обратимую обвязку.
Ядро — то, что нельзя отыграть: цена, обещание, выбранный сегмент, публичная позиция. Его проверяют на ограниченном участке, даже когда это дорого и медленно. Обвязка — страницы, тексты, порядок шагов, письма — правится по ходу без всякой проверки, потому что откат дешевле обсуждения. Спор «пилот или запуск» возникает там, где эти две части не разделили и обсуждают замысел целиком.
Вторая подмена касается не техники, а ответственности. Требование «сначала проверьте» нередко означает «я не готов подписаться под результатом», а требование «запускаем целиком» — «мне нужен объём в этом квартале». Обе позиции обсуждаются числами плохо, потому что спор идёт не про цену ошибки. Признак подмены заметный: обсуждают размер шага, но никто не называет, при каком исходе замысел закрывают. Пока эта величина не названа, любой формат работ превращается в открытую трату, которую нечем ограничить, — и это же соображение стоит за требованием держать пороги на общей панели показателей.
Проверок много, план не меняется ни от одной. Проверяется дешёвое и обратимое, а решающее допущение не тронуто. Выпишите три утверждения, без которых план разваливается, и поставьте в очередь их, даже если проверка каждого выглядит дорогой.
Запуск не остановили, хотя данные были против. Точка выхода не записана до старта, и потраченное стало доводом в пользу продолжения. Введите правило: дата, значение и ответственный за остановку фиксируются письменно до первого платежа, иначе запуск не начинается.
Пилот прошёл хорошо, на полном объёме результат исчез. Проверка шла на самых тёплых людях и с ручным сопровождением, которого при масштабе не будет. Сравните состав участников пилота с обычным составом потока и пересчитайте стоимость привлечения без ручной части.
Каждая проверка занимает почти столько же, сколько сам запуск. Первая дробь перевернулась: платится полная цена за частичный ответ. Переходите к запуску с ограниченным охватом и потолком потерь, а проверку оставьте только для необратимой части.
Спорное место
Обе дроби требуют числа, которого нет. Цену ошибки оценивает тот, кто собирается её понести, и для собственного замысла она занижается — не из хитрости, а потому что необратимую часть нечем измерить. Сколько стоит испорченное обещание рынку, не знает никто, и в расчёт попадает сумма контракта, а не последствия. Из-за этого правило систематически смещено в сторону запуска: дробь выходит меньше настоящей, и дробление кажется избыточным чаще, чем следовало бы.
Второе сомнение направлено в противоположную сторону и потому неприятнее. Дисциплина проверок делает компанию осторожной там, где осторожность дёшева, и не трогает места, где она дорога. Годы уходят на улучшение обратимой обвязки внутри выбора, который никто не ставил под сомнение, — и по всем внутренним отчётам это выглядит как аккуратная работа. Между тем часть рынков берётся только необратимой ставкой: новой категорией, новым обещанием, отказом от прежнего сегмента. Компания, разучившаяся такие ставки делать, защищена от мелких потерь и беззащитна перед крупной.
Честного разрешения у этого противоречия я не вижу. Наименее плохое, что удаётся предложить, — разделять два бюджета и не сравнивать их по одной шкале: один на обратимое, где работает дробление и обычный счёт окупаемости, другой на необратимое, где решение принимается суждением, ограничивается потолком потерь и оценивается годами, а не кварталами. Слабость этого разделения очевидна: границу между обратимым и необратимым проводит тот же человек, чья оценка цены ошибки уже признана смещённой.
Частые вопросы
Как понять, что проверка уже не нужна и пора запускать?
Что делать, если потока не хватает и проверка не даст вывода?
Как записать точку выхода, чтобы её потом не отменили?
Почему хороший результат пилота исчезает при масштабировании?
Можно ли считать запуск на одном сегменте проверкой?