Ученые из России получили серебряную медаль международного конкурса по обнаружению математических заблуждений с помощью ИИ

Команда Института AIRI, компании VeinCV (входит в ГК «Наносемантика») и Cколтеха была признана серебряным призером международного соревнования «Eedi –– Mining Misconceptions in Mathematics» (англ. – «поиск заблуждений в математике»). В соревновании приняли участие 1446 команд.

Технологии искусственного интеллекта активно применяются в образовании. Одно из наиболее популярных направлений –– внедрение алгоритмов для автоматизации образовательного процесса и проверки заданий в платформы онлайн-обучения.

Представим простое уравнение и одно из ошибочных решений: «5 х 4 + 6 / 2 = 13». Подобный ответ может означать, что ученик помнит, что нужно выполнять математические действия слева направо, но не знает верный порядок выполнения математических операций. Причина ошибочного ответа позволяет быстро понять, каких знаний не хватает ученику.

Установить взаимосвязь между ошибками учеников и темами, которые нужно пройти, чтобы не совершать их, можно либо проанализировав огромное количество уже решенных задач, либо придумав задачи и список возможных ответов, включающий специально подобранные «дистракторы», то есть ответы, которые можно посчитать правильными только в случае, если у человека есть какой-то пробел в знаниях.

Сейчас такое сопоставление делается вручную и занимает очень много времени. Кроме того, люди могут обозначать такие взаимосвязи по-разному, и по мере появления новых вопросов могут возникать дополнительные неточности.

Основной целью соревнования было создание алгоритма, который поможет выявлять причины появления неправильного ответа на задачи по математике в автоматическом режиме.

Решение российской команды было настроено на основе данных, состоявших из 4370 примеров задач и ошибок учащихся, полученных от организаторов соревнования, а также 13921 синтетическом примере, сгенерированном командой. Данные были использованы для дообучения открытой языковой модели Qwen, чтобы анализировать пару «вопрос и неправильный ответ», получая на выходе наиболее вероятное математическое заблуждение.

Соревнование было проведено EdTech-компанией Eedi, Университетом Вандербильта и лабораторией Learning Agency Lab, чтобы привлечь внимание научного сообщества к существующей проблеме и создать открытый список решений, который поможет разработчикам и ИИ-тренерам со всего мира размечать данные, необходимые для развития систем ИИ в образовании.