В УрФУ нейросеть сдала экзамен по истории на тройку


Доцент УрФУ Михаил Киселев протестировал Chat GPT и Sage на знание исторических фактов и терминологии.
По итогу преподаватель назвал нейросеть «студентом-импровизатором» и поставил ей «тройку».
Результаты анализа историк озвучил на научном семинаре «Тексты, коды, смыслы: искусственный интеллект — помощник или соперник гуманитария», сообщает пресс-служба УрФУ.
Экзаменатор сравнил нейросети со студентом, который выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными.
— Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов, — пояснил Михаил Киселев.
Проведенный эксперимент позволяет сделать вывод: в тех дисциплинах, где повышается сложность из-за вариативности материала, существования разных подходов и концепций, а также использования разных языков, нейросеть превращается из «отличника» в посредственного «троечника».
— Другое дело, что, возможно, в будущем все же на основе нейросети можно будет создать помощника, который будет на основе индексации загруженных материалов с соответствующими ссылками давать подсказки, где что упоминается. Или, например, возьмет часть технической работы — оформление списков литературы, составление аннотации и ключевых слов. То есть нейросеть не сможет думать за человека, она для этого не приспособлена, однако она сможет создать для этого более комфортные условия, — заключил Михаил Киселев.