Минздрав предупреждает:
НЕКРИТИЧНОЕ ИСПОЛЬЗОВАНИЕ ИИ ПРИВОДИТ К ПРЕЖДЕВРЕМЕННОЙ ДЕМЕНЦИИ
Не стоит слепо верить ИИ. Сечас это серьзная проблема, и ее пытаются решить.
Проблема
«уверенной лжи» в современных алгоритмах ИИ
Одной из главных преград на пути массового внедрения больших языковых моделей (LLM) в критически важные сферы остается склонность ИИ к так называемым
«галлюцинациям». Нейросети способны генерировать крайне убедительные, грамматически правильные, но фактически
абсолютно ложные данные.
До недавнего времени основным инструментом борьбы с этим явлением выступали RAG-системы (Retrieval-Augmented Generation — генерация, дополненная поиском). С их помощью алгоритм перед ответом пользователю обращается к проверенной внешней базе знаний. Однако, как отмечают специалисты Сибирского государственного университета науки и технологий имени академика М.Ф. Решетнева, классические методы не дают стопроцентной гарантии безопасности. Ошибки в самих базах данных, банальные человеческие опечатки или неполнота загруженной информации все равно приводят к сбоям системы. В таких сферах, как медицина или юриспруденция, любая подобная ошибка может стать критической.
Инновационный подход: Классификация и стресс-тесты
Команда сибирских исследователей под руководством доцента Анастасии Поляковой предложила принципиально иную стратегию. Вместо того чтобы просто снабжать нейросеть очередными справочниками, ученые создали детальный классификатор типичных «галлюцинаций» искусственного интеллекта. На его основе была выстроена сквозная система автоматизированного стресс-тестирования.
Архитектура новой отечественной разработки (пайплайн) устроена по следующему принципу:
Специализированная система непрерывно генерирует контрольные тестовые запросы.
Полученные от нейросети ответы автоматически сопоставляются с жестко заданным эталоном.
Алгоритм оценивает точность совпадения и выявляет скрытые дефекты логики ИИ.
Главным результатом работы стал прототип программного модуля, который анализирует диалог человека и машины в режиме реального времени. Он выставляет каждому ответу нейросети индивидуальный «балл уверенности». Если система фиксирует ошибку или сомнительные данные, оператор мгновенно получает сигнал тревоги.
... и добавил:Надо после каждого ответа ИИ внизу писать - "Но это не точно."
