Ошибки языковых моделей обсуждают как сбой, который скоро починят. Устроены они иначе: выдумка — не поломка режима, а сам режим, доведённый до задачи, для которой он не предназначен. Из этого следует и порядок проверки, и понимание того, какие ошибки не исчезнут ни при каком улучшении.
Почему термин мешает больше, чем помогает
Слово подсказывает, что модель что-то «увидела», хотя происходит обратное: она ничего не видит и не проверяет. Языковая модель подбирает следующий фрагмент текста по вероятностям, обученным на больших корпусах, — и ровно так же подбирает его, когда факта в данных нет. Разница между верным и выдуманным утверждением для неё не существует, потому что механизм один и тот же. Подробнее эта механика разобрана в устройстве языковых моделей.
Отсюда следует главное практическое неудобство: уверенность формулировки ничего не сообщает о её надёжности. В обучающих данных ответы на вопросы написаны уверенно, поэтому уверенно написан и ответ на вопрос, ответа на который нет. Ни оговорок, ни колебания интонации в месте, где начинается выдумка, не появляется — искать «подозрительный тон» бесполезно.
Точнее было бы говорить не о галлюцинации, а о заполнении пустоты правдоподобным. Формулировка длиннее, зато сразу подсказывает, где смотреть: там, где вы попросили содержание, которого у модели неоткуда взять.
Шесть видов выдумки
Их различают потому, что ловятся они разными приёмами и стоят разного времени.
| Вид | Как выглядит | Чем ловится |
|---|---|---|
| Несуществующий источник | Ссылка, название книги или исследования, которых нет | Открыть — самый дешёвый шаг |
| Реальный источник без утверждения | Ссылка настоящая, но нужного в ней нет | Поиск по странице, а не по названию |
| Правдоподобное число | Доля, процент, размер выборки без источника | Требование источника к каждой цифре |
| Устаревшее как текущее | Правило, изменённое после сбора данных | Сверка с официальной документацией |
| Смешение похожих сущностей | Два продукта или компании со схожими названиями слиты в один | Проверка сущности по официальному сайту |
| Выдуманная цитата | Точная формулировка, приписанная реальному человеку | Дословный поиск фразы |
Первая строка безобидна: она заметна и лечится одним кликом. Опаснее вторая и третья — они выглядят как результат добросовестной работы и проходят поверхностную проверку. Именно из них потом собираются «отраслевые нормы», которые никто не считал.
Отдельно про третью строку. Число — самый убедительный элемент текста и самый дешёвый в подделке, потому что правдоподобная доля выглядит одинаково независимо от того, посчитана она или подобрана. Практическое правило редакции короткое: цифра без источника вычёркивается, даже если она кажется разумной.
Поиск не убирает проблему, а перемещает её
Режим с поиском часто предлагают как решение. Он меняет распределение ошибок, а не их наличие.
Что улучшается: доля утверждений, взятых полностью из воздуха, падает, потому что модель опирается на найденные документы. Что появляется: ошибка атрибуции — ссылка ведёт на реальную и даже уместную страницу, а конкретное утверждение там не написано или сказано про другой случай. Формально ответ подкреплён, фактически подкрепление не работает.
Причина в устройстве отбора. Документы подбираются по смысловой близости через векторное представление, то есть по похожести, а не по подтверждению. Похожий текст и подтверждающий текст — разные вещи, и на границе между ними живёт большая часть ошибок в ответах со сносками.
Второй источник искажения — качество самой выборки. Если по теме в открытом доступе преобладает пересказ, ответ соберётся из пересказа: замер 853 ответов показывает, что среди источников регулярно оказываются площадки пользовательского контента, где утверждение никем не проверялось. Ответ выглядит подкреплённым, а цепочка проверки обрывается на первом же звене.
Практический вывод для работы с ответными машинами со сносками и ассистентами поисковых систем: наличие ссылки — не проверка, а приглашение проверить.
Порядок проверки: от дешёвого к дорогому
Проверять всё подряд одинаково глубоко невозможно, поэтому шаги упорядочены по стоимости. Каждый следующий делается, только если предыдущий пройден.
- Существует ли источник. Открыть ссылку. Отсеивает больше всего и занимает секунды. Если ссылки нет вовсе, а утверждение фактическое — оно не проходит дальше без отдельного подтверждения.
- Есть ли утверждение на странице. Искать текстом по странице, а не глазами по заголовкам. Здесь отсеивается ошибка атрибуции, которую пропускают чаще всего.
- Совпадает ли формулировка. Условия, оговорки, период, к чему относится число. Утверждение часто сохраняется, а условие его применения теряется.
- Первичный ли это источник. Пересказ пересказа выглядит как подтверждение, пока не дойдёшь до начала цепочки. Если начала нет, число дальше не идёт.
- Не устарело ли. Для правил платформ и требований — сверка с официальной документацией, потому что изменения туда попадают раньше, чем в тексты о них.
Первый и второй шаги стоит делать всегда, третий — для всего, что попадёт в публикацию, четвёртый и пятый — для утверждений, на которых строится вывод. Дисциплина здесь дешевле, чем разбор последствий: как встроить это в редакционный процесс, разобрано в материале про нейросети для текста, а разделение задач по степени доверия — в разборе работы с ассистентом.
Когда выдумка касается вашего бренда
Отдельный случай, потому что здесь вы не читатель ответа, а его предмет — и обычная проверка не помогает.
Ответ про компанию собирается из того, что о ней написано в открытых источниках, плюс из того, что осталось в памяти модели. Если сведения противоречивы или их мало, пустота заполняется правдоподобным: приписывается чужая услуга, называется не тот профиль деятельности, смешиваются две компании со схожими названиями.
Что здесь работает: однозначные формулировки на собственных страницах, совпадающие данные в профилях и справочниках, отсутствие противоречий между версиями описания компании в разных местах. Что не работает: обращение в поддержку с просьбой исправить конкретный ответ — правится не ответ, а выборка, из которой он собирается. Механику формирования этой выборки описывают четыре слоя видимости, а работу с тем, что о компании написано вне сайта, — материал про репутацию бренда.
Сроков здесь никто не назовёт: изменение появляется по мере обновления источников и не гарантировано вовсе.
Ответ выглядит безупречно, а ссылки не открываются. Классическая выдумка первого вида. Всё содержание такого ответа считается непроверенным, а не только ссылки — если источник придуман, остальное собрано тем же способом.
Ссылка открывается, но утверждения на странице нет. Ошибка атрибуции: документ подобран по похожести, а не по подтверждению. Искать утверждение поиском по тексту страницы и не принимать наличие ссылки за проверку.
Модель называет число, которое совпадает с вашим ожиданием. Самый опасный случай: совпадение с ожиданием отключает проверку. Требовать источник ровно так же, как для неожиданного числа.
В ответе про компанию перепутаны две похожие организации. Смешение сущностей из-за противоречивых данных в открытых источниках. Приводить к единому виду описание, профили и справочники, а не переписывать один ответ.
Границы проверки
Порядок из пяти шагов ловит не всё, и полезно знать заранее, где он бессилен.
- Отсутствие в ответе важного. Проверка ловит ложное утверждение, но не пропущенное условие. Ответ без единой ошибки может вводить в заблуждение тем, чего в нём нет.
- Правильный факт в неверном контексте. Число верное, но относится к другому случаю или периоду. Формально всё сходится, вывод получается ложный.
- Темы без письменных источников. Там, где практика не описана публично, проверять нечем: отсутствие подтверждения не означает ни правоты, ни ошибки.
- Ответы из памяти без поиска. Проверять нечего по построению — ссылок нет. Такие ответы годятся как гипотеза и не годятся как основание.
- Скорость изменений. Правила платформ и требования обновляются быстрее текстов о них, поэтому «проверено полгода назад» не равно «проверено».
Общее у пяти пунктов: проверка подтверждает утверждения, но не гарантирует полноты картины. Второе решается только знанием предмета, и заменить его процедурой нельзя.
Спорное место
Спорна сама постановка задачи. Отношение к выдумкам колеблется между двумя крайностями: «модели врут, пользоваться нельзя» и «в новых версиях это уже почти решено». Обе позиции мешают работать: первая отбрасывает инструмент вместе с задачами, где проверять нечего, вторая переносит проверку в будущее.
Честнее сформулировать так: доля ошибок снижается, а класс ошибок остаётся, потому что он следует из устройства — предсказание правдоподобного продолжения не превращается в проверку фактов от увеличения объёма данных. Это значит, что процедура проверки не временная мера на переходный период, а постоянная часть процесса.
Второе сомнение — про цену. Полная проверка каждого утверждения делает работу с моделью дороже написания вручную, и в этом месте многие тихо перестают проверять. Признавать это честнее, чем описывать идеальный регламент: рабочий выход не в более строгой процедуре, а в том, чтобы не поручать модели задачи, где проверять придётся всё.
Частые вопросы
Почему модель отвечает уверенно, даже когда ошибается?
Помогает ли включённый поиск?
Как быстро проверить ответ, не тратя час?
Что делать, если модель говорит неправду о нашей компании?
Можно ли попросить модель проверить саму себя?