Нейросети не различают факты и убеждения: пугающие выводы ученых

Современные языковые модели становятся все умнее, но у них обнаружилась неожиданная слабость: они с трудом отличают объективные факты от субъективных убеждений человека.Новое исследование показало, что даже самые продвинутые системы искусственного интеллекта зачастую не способны признать простую вещь — человек может искренне верить в то, что на самом деле неправда.Казалось бы, это мелочь. Но представьте ситуацию: вы говорите нейросетевому помощнику: «Я считаю, что люди используют только десять процентов мозга». Вместо того чтобы принять это как вашу точку зрения и работать с ней, система начинает вас поправлять или вовсе отрицает, что вы так думаете. Для простенького чат-бота, который используется в основном в развлекательных целях это не критично, но что если речь идет, например, о медицинской консультации, когда человек может сообщать о своих субьективных ощущениях, которые порой могут звучать очень необычно?«Большие языковые модели все чаще используются для обучения, консультирования, медицинских и юридических советов и даже для общения», — объясняет соавтор исследования Джеймс Зоу из Стэнфордского университета. — «В таких ситуациях критически важно, чтобы система “понимала” разницу между фактами и убеждениями пользователя. Например, ученик может путать какие-то определения в математике, и репетитор на основе искусственного интеллекта должен осознать, в чем именно состоит личное заблуждение, чтобы эффективно исправить его, а не вступать в борьбу с этим убеждением».