Вопрос «сколько мы получаем из нейросетей» кажется одним вопросом, а на деле их три, и отвечают на них разными способами с разной точностью. Пока величины не разведены, любой отчёт по каналу выглядит убедительно и означает не то, что в нём написано.
Три величины под одним названием
Разделение простое, и без него дальше двигаться нельзя.
Присутствие в ответах. Сколько раз вас назвали источником по интересующим вопросам. Это видимость, а не трафик: единица измерения — доля прогонов, в которых вы были в списке источников.
Переходы. Реферальные визиты с доменов платформ. Единственная величина, которая снимается точно, — и одновременно самая узкая: она описывает только тех, кто нажал ссылку.
Отложенное влияние. Человек прочитал ответ, запомнил название, пришёл через несколько дней напрямую или по брендовому запросу. В отчётах это выглядит как брендовый трафик или прямой заход, и связи с ассистентом в данных не осталось.
Три величины меняются независимо. Присутствие может расти при неизменных переходах — так выглядит канал, где ответ закрывает вопрос целиком. Переходы могут расти без роста присутствия — например, когда вас начали цитировать по более «кликабельным» формулировкам. Складывать их в один показатель бессмысленно: это как сложить показы, клики и упоминания.
Что снимается, а что оценивается
| Величина | Как снимается | Точность | Чем ограничена |
|---|---|---|---|
| Присутствие в ответах | Ручной прогон фиксированного списка вопросов | Наблюдение, не измерение | Состав источников меняется от прогона к прогону |
| Переходы по ссылке | Сегмент по доменам платформ в системе аналитики | Точно | Реферер передаётся не всегда |
| Показы ответа в выдаче | Косвенно, по падению доли кликов при стабильных показах | Признак, не число | Отдельной разбивки в общем случае нет |
| Отложенное влияние | Опрос «откуда узнали» с явным пунктом про ассистента | Оценка | Отвечают не все и не всегда точно |
| Упоминание без ссылки | Поиск названия в тексте ответа при ручном прогоне | Наблюдение | Не связывается ни с визитами, ни с заявками |
Читать таблицу надо по третьей колонке. Точно измеряется одна строка из пяти, и именно её обычно выдают за весь канал. Механика сбора сегмента по доменам разобрана отдельно — в материале про переходы из ассистентов; здесь важнее, что этот сегмент по построению даёт нижнюю границу.
Верхнюю границу не даёт никто. Подрядчик, назвавший точную долю влияния канала, её вывел не из данных — данных для такого вывода не существует.
Метки закрывают только то, что вы формируете сами
Первая мысль при постановке учёта — разметить ссылки. С этим каналом приём не работает по устройству.
Метки добавляются к адресу тем, кто ставит ссылку. В ответе ассистента ссылку формирует платформа: она берёт адрес из своего индекса, и ваших параметров там нет. Единственный доступный уровень — домен источника, который приходит в заголовке реферера.
Где метки всё-таки нужны в этом контексте: собственные площадки, откуда материал попадает в выборку, — профили, документация, рассылки, партнёрские публикации. Разметив их, вы разделяете переходы «человек пришёл по нашей ссылке» и «человек пришёл из ответа, где нас процитировали». Без этого разделения обе группы сливаются в реферальный отчёт, и любые выводы о канале смещены.
Второй практический пункт — единый справочник значений. Если метки в проекте расставлены по-разному, разбор источников превращается в чистку данных, и до вопроса про нейросети дело не доходит. Общие правила сборки отчётности разобраны в материале про инструменты веб-аналитики.
Малые числа: где отчёт начинает врать
Канал обычно приходит малыми объёмами, а на малых объёмах врут прежде всего проценты.
Простая арифметика: рост с четырёх визитов до шести — это плюс пятьдесят процентов. В отчёте такая строка выглядит как прорыв, хотя описывает два дополнительных человека. Обратная сторона той же арифметики: одна сделка на два десятка визитов даёт конверсию, при которой канал «конвертит лучше органики» — и вывод держится на единственном событии.
Три правила, которые снимают большую часть самообмана:
- Держать абсолютные числа рядом с процентами. Всегда, а не когда просят. Процент без базы на этом канале нечитаем.
- Сравнивать накопленные периоды, а не соседние недели. Месяц к месяцу, квартал к кварталу. Недельная динамика здесь — шум по построению.
- Не считать конверсию сегмента, пока событий единицы. Логика та же, что в проверке гипотез: на таком объёме различие неотличимо от случайности.
Отдельно про конверсию этого сегмента: даже накопленная, она смещена. В неё попадают только перешедшие по ссылке — то есть те, кому ответа не хватило. Это заведомо более заинтересованная часть аудитории, и переносить их поведение на канал целиком нельзя.
Что положить в регулярный отчёт
Отчёт по каналу собирается из трёх блоков, и каждый живёт своей периодичностью.
- Присутствие. Фиксированный список вопросов, одна периодичность, три отдельные колонки: назвали источником, дали ссылку на конкретную страницу, упомянули бренд без ссылки. Единица результата — доля недель за период. Что именно снимать, подробно разобрано в четырёх слоях видимости.
- Переходы. Сегмент по доменам платформ, абсолютные числа, накопленный итог за месяц. Рядом — список посадочных страниц: он показывает, какой материал вообще участвует.
- Косвенные признаки. Динамика доли кликов по группам информационных запросов — признак того, что ответ в выдаче забирает нулевые клики. Плюс динамика брендовых запросов, если реклама и упоминания за период не менялись.
- Опрос. Пункт «узнал через ИИ-ассистента» в форме заявки или в разговоре с менеджером. Собирается постоянно, разбирается раз в квартал — иначе выборка слишком мала для любых выводов.
- Правило решения. Записанное заранее условие: при каком результате и через сколько периодов вы признаёте попытку неудачной. Без этого пункта наблюдение становится бесконечным.
Пятый пункт пропускают почти всегда, и именно он отличает отчёт от коллекции графиков. Как это выглядит на уровне сводки — в материале про дашборды.
Переходов из ассистентов почти нет, хотя в ответах вас называют. Нормальное состояние для вопросов с коротким ответом. Ошибка не в настройке, а в плане: по таким формулировкам изначально нельзя было планировать визиты — считайте присутствие, а не трафик.
Прямые заходы растут вместе с упоминаниями, связи в данных нет. Так выглядит отложенное влияние: реферер потерян, атрибуция ничего не восстановит. Поймать это можно только опросом, и заводить его надо до, а не после роста.
Конверсия ИИ-сегмента в разы выше органики. Сначала посмотрите число событий. На единицах такое различие возникает из одной сделки, а не из качества канала.
Переходы упали разом по всем платформам. Похоже на техническое изменение, а не на потерю видимости. Проверять доступ ботов и ответы сервера, а не переписывать тексты; общая механика — в разборе ответов в выдаче.
Границы применимости
Описанная система измеряет часть канала и честно останавливается там, где данных нет.
- Доля влияния целиком не считается. Нижнюю границу вы знаете, верхнюю — нет. Любая полная оценка канала содержит допущение, которое стоит проговаривать вслух.
- Атрибуция не восстанавливает потерянный источник. Ни одна модель атрибуции не вернёт цепочку, в которой первый контакт не оставил следа.
- Ручной замер присутствия не масштабируется. Двадцать вопросов раз в неделю — предел, дальше начинается либо автоматизация, либо самообман.
- Платформы отличаются между собой. Состав источников у ответной машины со сносками и у ассистента поисковой системы собирается по-разному, и сводить их в одну метрику «видимость в ИИ» значит усреднять несравнимое.
- Числа из чужих замеров не переносятся. Даже собственный разбор 853 ответов описывает одну выгрузку одной системы — из него можно взять структуру вывода, но не пропорции для своего отчёта.
Общее у пяти пунктов: ограничение здесь не в инструменте, а в том, что часть событий не оставляет данных вовсе.
Спорное место
Уязвимое место этой конструкции — опрос. Он единственный способ увидеть отложенное влияние, и он же наименее надёжный: люди плохо помнят, откуда узнали, склонны называть последний контакт и выбирают тот вариант ответа, который проще. Строить на нём оценку канала — значит строить на памяти респондента.
Второе сомнение серьёзнее. Возможно, разведение трёх величин избыточно для проектов, где канал приносит единицы визитов: содержательно честнее, а практически ведёт к отчёту, который дороже описываемого. Разумный компромисс — начинать с одной точно измеряемой величины и добавлять остальные, когда решения начнут от них зависеть. Признак этого момента простой: кто-то в команде впервые спросил не «сколько визитов», а «почему нас перестали называть».
Частые вопросы
Почему нельзя просто смотреть отчёт по источникам?
Можно ли поставить метки на ссылки в ответах нейросетей?
С какого объёма выводам можно верить?
Как считать присутствие в ответах, если это не визиты?
Стоит ли заводить отдельный канал в системе аналитики?
Источники
- Веб-аналитика — Wikipedia
- HTTP referer — Wikipedia