ИИ дал ссылку и точную цитату: тест на проверку убедительного ответа
Генеративная модель отвечает связно даже тогда, когда у нее нет надежного факта. NIST использует термин confabulation для уверенно представленного ошибочного или ложного содержания. Это свойство способа генерации, а не редкая поломка. Пройдите десять ситуаций и выберите действие, которое проверяет именно заявленный факт.
1. Есть автор, журнал и DOI
Можно ли включить исследование в отчет без открытия?
Ответ: нет. Перейдите по DOI через независимый реестр или сайт издателя, сверьте название, авторов, год и содержание. Модель способна собрать правдоподобную ссылку из частей реальных публикаций. Поисковый результат тоже не заменяет полный источник.
2. Цитата стоит в кавычках
Достаточно ли ссылки на длинную страницу?
Ответ: нет. Найдите точную фразу в первоисточнике и прочитайте соседние абзацы. Проверьте перевод. Если оригинал не найден, уберите кавычки и не приписывайте слова человеку.
3. Должность человека звучит знакомо
Модель называет руководителя организации. Что проверять?
Ответ: официальную страницу организации на текущую дату и дату события. Человек мог занимать должность во время заявления, но уйти позже. В тексте полезно писать кто и когда сделал заявление, а не переносить старый титул в настоящее.
4. Новость опубликована сегодня
Означает ли это, что событие произошло сегодня?
Ответ: нет. Материал может вспоминать старое исследование, повторять пресс-релиз или обновлять архив. Найдите дату самого события внутри первичного документа.
5. Вычисление выглядит аккуратно
Модель умножила цену на количество без ошибки. Результат надежен?
Ответ: только если проверены исходные числа, единицы и правило округления. Пересчитайте отдельным калькулятором. Верная арифметика не спасает выдуманную цену или смешение рублей за месяц с рублями за год.
6. Три сайта повторяют одну цифру
Это три независимых подтверждения?
Ответ: возможно, все переписали один материал. Проследите ссылки до первичного отчета, таблицы или заявления. Несколько копий одного источника остаются одним свидетельством.
7. Модель уверена на 95 процентов
Можно ли трактовать число как измеренную вероятность правильности?
Ответ: нет без описанной калибровки и метода. Самооценка в тексте может быть такой же сгенерированной фразой. Уверенность модели не заменяет внешнюю проверку.
8. На изображении есть метаданные происхождения
Доказывает ли это, что сцена реальна?
Ответ: нет. Метаданные и Content Credentials могут показать историю файла и инструменты обработки, если цепочка сохранена. Их отсутствие не доказывает подделку, а наличие не подтверждает истинность изображенного события. Нужны источник, время, место и независимый контекст.
9. Ответ касается лекарства или закона
Модель приводит общую инструкцию. Можно действовать?
Ответ: высокие последствия требуют актуального официального источника и компетентного специалиста. Версия закона, противопоказания и обстоятельства человека меняются. ИИ удобен для списка вопросов, но не для окончательного решения.
10. В ответе нет явных ошибок
Значит ли это, что проверка закончена?
Ответ: нет. Ошибка может быть пропуском. Спросите, какие ограничения, альтернативы и данные не учтены. Затем проверьте самые важные утверждения, а не случайные мелочи.
Матрица риска
Разделите утверждения по последствиям и изменчивости. Низкий риск и стабильный факт допускают быструю проверку. Цена, расписание, должность и версия программы быстро устаревают. Медицинское, юридическое, финансовое или безопасностное решение требует первоисточника и профессиональной оценки.
NIST рекомендует управлять риском генеративного ИИ на всем цикле: определять контекст, измерять качество, управлять обнаруженными рисками и документировать решения. Для обычного пользователя это означает хранить запрос, версию результата, ссылки и исправления там, где ответ влияет на работу.
Как считать баллы
- 9-10: вы отделяете форму ответа от доказательства.
- 6-8: перепроверяйте даты и происхождение вторичных публикаций.
- 0-5: не переносите имена, цифры и цитаты до открытия первоисточника.
Нельзя проверить длинный ответ одной кнопкой определить ИИ. Разным утверждениям нужны разные инструменты: DOI для публикации, официальный сайт для должности, калькулятор для числа, документ с датой для закона, обратный поиск и происхождение для изображения.
Полезный навык состоит не в недоверии ко всему тексту. Он в правильном распределении внимания: сначала проверить то, что способно изменить решение или причинить ущерб, затем уточнить детали и честно оставить неопределенность там, где источника нет.