Ученые назвали способность ИИ-моделей к рассуждениям «хрупкой иллюзией»

• Исследователи из Университета Аризоны заявили, что модели с «цепочкой мыслей» не обладают истинными навыками обобщенных рассуждений.
• Эксперименты показали, что при малейшем отклонении от обучающих данных точность таких моделей резко падает.
• Ученые предупреждают, что нельзя приравнивать работу LLM к человеческому мышлению, особенно в критически важных областях.

Исследование Университета Аризоны поставило под сомнение реальную способность ИИ-моделей рассуждений к логическим выводам. Авторы работы отмечают, что такие проекты чаще воспроизводят знакомые шаблоны, чем формируют осмысленные умозаключения.

Чтобы проверить это, исследователи создали тестовую среду DataAlchemy. В ней небольшие LLM обучали простым текстовым преобразованиям, включая ROT-шифр и циклические сдвиги. Затем ИИ просили комбинировать их в новых последовательностях, которых не было в обучающем наборе.

Результаты показали, что при столкновении с незнакомыми комбинациями функций модели часто давали либо правильный ответ с неправильным «обоснованием», либо наоборот — верные рассуждения, но неверный результат. Даже незначительные изменения формата задачи, например, длины текста или символов, приводили к резкому снижению точности.

Ученые подчеркнули, что добавление в тренировку небольшой доли релевантных данных через контролируемую донастройку (SFT) действительно улучшает показатели. Однако это не решает главную проблему — отсутствие у LLM способности к абстрактному мышлению. Такой подход они назвали «заплаткой», а не фундаментальным решением.

По их словам, цепочки мыслей в нынешнем виде являются «структурированным сопоставлением с образцом», которое ломается при малейшем изменении условий. При этом способность модели генерировать связный, но ложный текст создает «иллюзию надежности», способную ввести в заблуждение пользователей.

Исследователи считают, что текущие бенчмарки и тесты должны уделять больше внимания задачам «вне области» обучения, чтобы выявлять слабые места таких систем.

Они также предупредили, что приравнивание CoT-выводов к человеческому мышлению особенно опасно в медицине, финансах и юриспруденции. Будущим моделям, по их мнению, необходимо выйти за пределы простого распознавания шаблонов, чтобы демонстрировать настоящую способность к рассуждениям.

Напомним, мы писали, что предприниматель Марк Цукерберг заявил о планах Meta создать «персональный суперинтеллект».