Доцент кафедры истории России УрФУ Михаил Киселев провел «экзамен» для Chat GPT и Sage. Он протестировал нейросети на знание истории России — исторических фактов и терминологии. По итогу преподаватель назвал нейросеть «студентом-импровизатором» и поставил ей «тройку». Результаты анализа историк озвучил на научном семинаре «Тексты, коды, смыслы: искусственный интеллект — помощник или соперник гуманитария», который состоялся в УрФУ.
«Есть три типа студентов на экзамене. Когда студент успешно осваивает дисциплину, он знает материал, понял, как работать с ним, основные подходы к анализу и может дать отличный самостоятельный ответ. Есть те, что ничего не учат и честно говорят: „Я ничего не знаю“, потом отправляются на пересдачу. Но есть третий тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», — рассказывает Михаил Киселев.
Так, на вопросы, связанные с использованием устойчивой общей научной терминологии, давались вполне хорошие ответы, добавляет Киселев. Например, обе нейросети дали приемлемый ответ на вопрос «В чем разница между историческими и историографическим источниками? Однако со сложным гуманитарным (историческим) материалом нейросеть не справляется, утверждает доцент. Так, в работе историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XIX века и современный. И все это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох.
«К примеру, я задал вопрос, „Что такое завещание Василия III?“ Ответ Chat GPT — „Завещание Василия III — это документ, составленный российским царем Василием III перед его смертью в 1533 году. В нем он указывал своих наследников и распоряжался имуществом. Согласно завещанию, престол достался его сыну Ивану IV (Грозному), а также были назначены его опекуны и министры“. Ответ Sage — „Завещание Василия III — это правовой акт, оставленный российским царем Василием III перед своей смертью в 1533 году. В завещании был определен порядок правления и наследования престола России. В соответствии с завещанием, после смерти Василия III престол должен был перейти к его сыну Ивану IV, который в то время был еще ребенком“, — рассказывает Киселев. — Обе нейросети неправильно назвали Василия III царем. Этот титул официально примет только Иван IV. А Chat GPT использовал анахронизм „министры“, однако ответ в целом можно считать удовлетворительным».
Затем экзаменатор немного переформулировал тот же вопрос: вместо слова «завещание» использовал исторический термин XVI века — «духовная».
«На вопрос, „что такое духовная Василия III?“ нейросети показали незнание исторической терминологии. Chat GPT заявил, что „это период правления российского царя Василия III (1479-1533), когда произошло значительное развитие православной церкви в России“, а Sage, что „это название церковной реформы, проведенной российским царем Василием III в конце XV — начале XVI веков“», — добавляет Михаил Киселев.
На вопрос «Какие историки писали о завещании Василия III?» обе нейросети сперва начали «лить воду», заявляя, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных историков типа Сергея Соловьева и Василия Ключевского.
«С учетом того, что им принадлежали обобщающие работы по истории России, это удачный ход: наверняка они что-то должны были об этом писать. В то же время нейросети проигнорировали авторов специальных работ по этой теме, которые ищутся обычным поисковиком. Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу „Истории Российского государства“. Если представить, что такая беседа велась на экзамене, то можно сказать, что студент „поплыл“ из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — говорит Михаил Киселев.
Историк полагает, что «неподготовленность» нейросетей связана с тем, что они имитируют самостоятельное мышление посредством генерации правдоподобных текстов на основании загруженных данных. Однако если данные достаточно полные и однозначны, то нейросети показывают хорошие результаты. Так, физик, академик РАН Алексей Хохлов поставил бы нейросети как студенту отличную оценку.
«В тех дисциплинах, где повышается сложность из-за вариативности материала, существования разных подходов и концепций, а также использования разных языков, нейросеть превращается из „отличника“ в посредственного „троечника“, которого хочется отправить на пересдачу. Другое дело, что, возможно, в будущем все же на основе нейросети можно будет создать помощника, который будет на основе индексации загруженных материалов с соответствующими ссылками давать подсказки, где что упоминается. Или, например, возьмет часть технической работы — оформление списков литературы, составление аннотации и ключевых слов. То есть нейросеть не сможет думать за человека, она для этого не приспособлена, однако она сможет создать для этого более комфортные условия», — заключает Киселев.
Источник: https://urfu.ru/ru/news/46796/
Фото: УрФУ.
Участники событий:
