Запрос «настройте нам мониторинг в нейросетях» звучит как задача для сервиса, а оказывается задачей на постановку наблюдения. Причина в том, что предмет наблюдения устроен иначе, чем всё, к чему привык мониторинг упоминаний: следить не за чем — объект возникает в момент вопроса и исчезает вместе с окном.
Почему обычный мониторинг здесь не применим
Классический мониторинг обходит опубликованные страницы и находит текст, у которого есть адрес, дата и автор. Ответ нейросети ни одного из этих свойств не имеет.
Он не хранится: система собирает его заново при каждом обращении. Он не одинаков: два человека, задавшие один вопрос в один день, получат разные формулировки и, что важнее, разный состав источников. У него нет адреса, по которому можно вернуться и проверить, что было сказано неделю назад.
Отсюда три следствия для организации работы. Наблюдение ставится вручную и повторяется — иначе данных не появится вовсе. Результат единичного прогона не значит ничего, потому что вариативность встроена в устройство. И сравнивать себя с прошлым месяцем можно только при неизменном списке вопросов: поплыл список — поплыло всё.
Это не отменяет обычного мониторинга, а добавляет к нему отдельный контур. Что отслеживать в опубликованном тексте и с какой частотой, разобрано в материале про мониторинг упоминаний; здесь речь о том, что в такой обход не попадает по устройству.
Единица наблюдения — прогон, а не упоминание
Считать надо не упоминания, а прогоны, в которых упоминание было.
Разница практическая. «Нас упомянули двенадцать раз» — число без базы: непонятно, из скольких попыток и по каким вопросам. «Из двадцати прогонов присутствие в девяти» — величина, с которой можно работать: она сравнима с прошлым периодом и не растёт от того, что вы стали чаще спрашивать. Размер волны при этом задаёт цену деления шкалы: при двадцати прогонах одно наблюдение весит пять процентных пунктов, и меньшая разница не читается — почему так, разобрано в замере цитируемости прогонами.
Внутри одного прогона фиксируются четыре разных факта, и смешивать их нельзя:
- Назвали ли источником. Домен попал в список ссылок под ответом.
- Дали ли ссылку на конкретную страницу. Не на главную, а на материал по теме вопроса. Это разные события с разными последствиями.
- Упомянули ли бренд в тексте без ссылки. Название в ответе есть, ссылки нет — самый частый и самый недооценённый случай.
- Что именно сказано. Рекомендация, нейтральное перечисление, ошибка в описании. Одна строка своими словами.
Четвёртый пункт — единственный, который нельзя отдать машине целиком: отличить «вас назвали среди вариантов» от «вас порекомендовали» автоматика делает ненадёжно, а вывод зависит именно от этого. Про то, где автоматизация в подобных цепочках останавливается и почему, есть отдельный разбор возможностей ИИ-агентов.
Список вопросов: собрать один раз и не трогать
Список — единственная часть схемы, которую нельзя менять по ходу. Он же определяет, что вы вообще увидите.
Собирается он не из ключевых фраз, а из формулировок, которыми люди описывают свою задачу вслух. «Как выбрать подрядчика на X», «что лучше — A или B», «сколько стоит сделать Y», «кто занимается Z». Правила постановки те же, что для любого запроса к модели, — они разобраны в материале про промпты, с одной поправкой: здесь формулировка должна быть обычной, а не оптимальной. Вы моделируете чужой вопрос, а не добиваетесь лучшего ответа.
Что стоит покрыть списком:
- Вопросы выбора — где сравнивают варианты и называют участников.
- Вопросы задачи — где человек описывает проблему, а не ищет компанию.
- Прямые вопросы о компании — «что известно о таком-то», «надёжны ли». Здесь ловятся ошибки в описании.
- Вопросы о конкурентах — чтобы видеть, появляетесь ли вы в чужих ответах.
Размер списка определяется не полнотой охвата, а тем, сколько вы выдержите прогонять регулярно. Двадцать вопросов, снимаемых месяцами, дают динамику; двести, снятых однократно, — снимок, из которого никаких выводов не следует.
Что снимается и с какой точностью
| Что фиксируем | Чем снимается | Единица результата | Чем ограничено |
|---|---|---|---|
| Присутствие в источниках | Ручной прогон списка вопросов | Доля прогонов с присутствием | Состав источников меняется между прогонами |
| Ссылка на конкретную страницу | Тот же прогон, отдельная колонка | Доля прогонов | Ссылка может вести на копию страницы, а не на неё |
| Упоминание без ссылки | Поиск названия в тексте ответа | Доля прогонов | Не связывается ни с визитами, ни с заявками |
| Состав соседей по ответу | Список доменов и названий из того же прогона | Частота появления рядом | Не означает сопоставимости по бизнесу |
| Содержание сказанного | Чтение ответа человеком | Заметка на строку | Оценка спорных случаев субъективна |
| Переходы из ответа | Сегмент по доменам платформ в аналитике | Визиты | Нижняя граница — считаются только нажавшие ссылку |
Последняя строка — единственная, которая измеряется точно, и единственная, которая не про присутствие. Смешивать её с остальными в один показатель «видимость в ИИ» нельзя: разбор трёх разных величин под этим названием есть в материале про учёт трафика из нейросетей, а механика сбора сегмента — в разборе переходов из ассистентов.
Четвёртая строка при этом самая содержательная. Состав соседей показывает, с кем система считает вас сопоставимыми, — и обычно этот список отличается от того, кого вы считаете конкурентами. По смыслу величина близка к доле голоса, только считается не по рекламным показам, а по появлению в одном ответе. Что именно оказывается в источниках, видно по замеру 853 ответов: на один ответ приходится в среднем 11,2 цитируемых домена, и заметная часть мест уходит площадкам пользовательского контента, а не компаниям вашей ниши.
Как читать результат
Главное правило чтения — не принимать колебания за динамику.
Присутствие меняется от прогона к прогону по устройству системы, а не из-за ваших действий. Поэтому смотреть надо на накопленную долю за период и сравнивать периоды, а не соседние прогоны. Рост с трёх присутствий до пяти в списке из двадцати вопросов — это не рост на две трети, это шум, который в следующем месяце уедет обратно.
Второе правило — не сводить платформы в одну метрику. Машина со сносками, ассистент поисковой системы и ответ в выдаче собирают источники по-разному, и усреднение трёх разных механизмов даёт число, которое ничего не описывает. Держать их отдельными колонками неудобно и честно.
Третье — отделять присутствие от содержания. Можно присутствовать во всех ответах и присутствовать плохо: в перечислении, из которого читателю ничего не следует. И наоборот — редкое упоминание с точной формулировкой полезнее частого в списке из десяти названий. Поэтому четвёртая колонка не заменяется процентами.
Что делать с результатом дальше — вопрос уже не мониторинга. Изменение состава источников описывается четырьмя слоями видимости, а работа с тем, что о компании написано вне сайта, — материалами про репутацию бренда и выдачу по названию компании.
Вчера нас называли, сегодня нет — при том, что ничего не меняли. Нормальная вариативность: состав источников подбирается заново при каждом обращении. Смотреть долю прогонов за период, а не факт присутствия в отдельном ответе; по единичному прогону выводы не делаются вовсе.
В ответе о компании перепутаны факты или две похожие организации. Противоречивые или скудные данные в открытых источниках, пустота заполняется правдоподобным. Приводить к единому виду описание, профили и справочники — механика разобрана в материале про галлюцинации моделей, а сама путаница происходит на уровне сущностей.
Присутствие растёт, переходов из ответов не прибавилось. Штатная ситуация для вопросов с исчерпывающим ответом. Это не сбой настройки, а признак того, что по таким формулировкам планировать визиты изначально нельзя — считайте присутствие, а трафик считайте отдельно.
Замер идёт полгода, выводов нет. Скорее всего, менялся список вопросов либо не записано, при каком результате вы признаёте попытку неудачной. Зафиксировать список и записать правило решения задним числом; без него наблюдение не заканчивается никогда.
Границы применимости
Схема даёт наблюдение, а не измерение, и полезно знать заранее, чего она не даст.
- Полноты картины нет. Вы видите ответы на свои двадцать вопросов, а не на все заданные людьми. Расширение списка отодвигает границу и не убирает её.
- Причину изменений схема не показывает. Присутствие упало — это может быть ваша страница, изменение в системе или случайность прогона. Разделить их наблюдением нельзя.
- Сравнение с конкурентами условно. Вы видите, кто попал в тот же ответ, и не видите, как их замеряют по их же списку вопросов.
- Ручной прогон не масштабируется. Список, который не помещается в регулярную работу, перестаёт сниматься на третий месяц — это самый частый способ потерять замер.
- Связи с деньгами нет. Ни одна из колонок, кроме последней, не переводится ни в визиты, ни в заявки, и попытка построить такой перевод даёт величину, которую вы придумали сами.
- Ответ не архивируется сам. Если вы не сохранили текст в момент прогона, восстановить его нечем — доказательства того, что было сказано, не существует.
Общее: замер фиксирует наблюдаемое и честно останавливается там, где начинается интерпретация.
Спорное место
Уязвимость схемы — в её же основе. Фиксированный список вопросов даёт сравнимость и одновременно консервирует представление о том, как люди спрашивают. Формулировки меняются, появляются новые способы задать тот же вопрос, а ваш список остаётся тем, каким вы его собрали год назад, — и показывает стабильную картину ровно потому, что смотрит в одну точку. Компромисса без потерь тут нет: либо сравнимость, либо актуальность. Разумный выход — держать список неизменным и раз в длинный период заводить второй, новый, не смешивая их результаты.
Второе сомнение — про пользу. Замер честно показывает присутствие и почти ничего не говорит о том, что с этим делать: между «нас стали называть реже» и конкретным действием лежит слой догадок. Есть позиция, что до определённого масштаба этот мониторинг вообще преждевременен, и время лучше тратить на то, чтобы о компании было что найти. Возразить нечем, кроме одного: без замера вы не заметите ни ухудшения, ни ошибки в описании компании — а заметите её от клиента, который прочитал ответ и не позвонил.
Третье — про соблазн автоматизировать целиком. Сбор ответов автоматизируется легко, и именно поэтому подрядчики предлагают готовые «дашборды видимости в ИИ». Проблема в четвёртой колонке: содержание сказанного разбирает человек, и как только этот шаг выпадает, отчёт превращается в график доли присутствия, по которому не видно, хвалят вас или упоминают в списке тех, кого не рекомендуют.
Частые вопросы
Чем это отличается от обычного мониторинга упоминаний?
Почему один и тот же вопрос даёт разные ответы?
Сколько вопросов брать в список?
Что делать, если о компании говорят неправду?
Можно ли автоматизировать прогоны?