«Гигачат» сдал экзамен по математике и компьютерным наукам на уровне магистра
Нейросеть Сбербанка «Гигачат» успешно прошла аттестацию по направлению «Математика и компьютерные науки», подтвердив знания, соответствующие уровню выпускника магистратуры. По итогам испытания, организованного на базе «Сколтеха», работу модели аттестационная комиссия оценила на «хорошо».
«В ходе аттестационного испытания, проведенного на базе "Сколтеха", работа модели была оценена аттестационной комиссией на оценку 4 ("хорошо")», — сообщает пресс-служба «Сбера».
На первом этапе нейросеть ответила на 500 уникальных вопросов закрытого типа в формате MMLU, ее средний показатель правильных ответов составил 76,9%.
На втором этапе аттестационная комиссия, состоящая из восьми докторов технических и физико-математических наук, оценивала ответы «Гигачата» по трем случайным билетам из 45. Каждый билет содержал два задания — теоретическое и практическое. Модель набрала 7 из 10 баллов по шкале «Сколтеха», что соответствует итоговой оценке «хорошо».
Ранее сообщалось, что Сбербанк предоставил доступ к корпоративной платформе GigaChat Enterprise, с помощью которой компании могут создавать персонализированных ИИ-агентов внутри своего контура. Пользователям сразу «из коробки» доступны базовые сценарии продуктивности и типовые ИИ-агенты для разных офисных ролей.
