«Яндекс» и МФТИ научили нейросеть оценивать ответы на онлайн-этапе Школьной олимпиады «Турнир Ломоносова». Впервые ЯндексGPT проверил 35 000 статей по трем предметам: физика, химия и астрономия. Это позволило сократить этап оценки работ с трех месяцев до одного месяца, сохранив качество проверки на прежнем уровне. В результате участники быстрее получали результаты, и экспертам МФТИ не приходилось вручную проверять все ответы.
Турнир имени М. В. Ломоносова – соревнование для школьников с 6 по 11 классы по математике, физике, астрономии, истории, лингвистике и другим предметам, который включает в себя два этапа: онлайн-отбор и финальный очный турнир. Олимпийские игры проводятся ежегодно с 1978 года. Их проводят Центр педагогического мастерства Департамента образования Москвы, Московский центр дополнительного математического образования, МГУ и МФТИ. Ежегодно в турнире принимают участие более 35 000 школьников.. В последние годы осенний тур проходит онлайн на платформе «Сириус», а домашние задания по естественнонаучным предметам составляются и проверяются комиссией МФТИ.
Разработчики Яндекса совместно со специалистами Физтеха научили ЯндексGPT определять соответствие ответа критериям оценки. Если нейросеть не находила нужных совпадений, она выдавала ноль баллов. Такая автоматическая проверка позволила экспертам уделить больше внимания работам, получившим наибольшее количество баллов. Модель обучалась с использованием решений онлайн-этапов предыдущих лет. Чтобы убедиться в точности алгоритма, эксперты перепроверили некоторые работы, оцененные нейросетью.. Результаты показали, что точность оценки работы соответствует уровню предыдущих лет – 95%.
В ноябре участникам была предоставлена возможность подать апелляцию и не согласиться с присужденными баллами. Количество обращений осталось на уровне прошлого года. Это говорит о том, что использование нейросети не снизило качество оценки работы, при этом ее скорость существенно возросла. А комплексная экспертиза всех решений, получивших оценку выше нуля, исключила риск получения незаслуженного вознаграждения.
Участники олимпиад по физике, химии и астрономии уже получили свои результаты и сертификаты в ноябре. В дальнейшем организаторы планируют использовать YandexGPT и на других олимпиадах, где проводятся онлайн-тесты, что позволит не только сократить время проверки, но и увеличить количество заданий с развернутым ответом в онлайн-тестах.
