Преподаватели истории Уральского федерального университета (Россия) экзаменовали популярные нейросети ChatGPT и Sage. Эксперимент был призван ответить на вопрос, достаточно ли умен искусственный интеллект, чтобы сдать вузовский экзамен по истории «на отлично».
Историки выяснили, что нейросети не воспринимают нюансы языков разных эпох, а также заполняют пробелы в знаниях несуществующими фактами.
— Есть тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает и нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов, — об этом в интервью информационному агентству «ТАСС» поведал доцент кафедры истории Уральского федерального университета Михаил Киселев.
Получается, что ChatGPT и Sage вопреки заявлениям своих создателей еще не до конца избавились от проблем, свойственных их предшественникам. К примеру, InstructGPT воспринимает сообщение о том, что Христофор Колумб прибыл в США в 2015 году, как правдивое. В отличие от него ChatGPT использует информацию о путешествиях Колумба и современном мире, включая восприятие личности Колумба, чтобы построить ответ, предполагающий, что произошло бы, если бы Колумб приплыл в США в 2015 году.
Стоит помнить, что ChatGPT и Sage — рукотворные произведения, управляемые алгоритмами, заложенными в них создателями. Программисты могут обучить их своему субъективному взгляду на мир, привить странные воззрения, даже страхи и фобии. У некоторых пользователей это создает иллюзию разумности, но это далеко не так.
Подготовил Роман БОНДАРЧУК, УзА