Авторы
- Ярмахов Борис Борисович кандидат философских наук, доцент
- Дрейцер Софья Ильинична
Аннотация
В данном исследовании поднимаются проблемные вопросы об изменении качества генерации текста с помощью больших языковых моделей на примере генерации вариантов ответа для вопросов с множественным выбором, в рамках разработки адаптивного учебника по биологии. Статья содержит обзор наиболее распространенных метрик для оценки качества решения задач с помощью больших языковых моделей и предлагает авторскую метрику, которая в большей степени подходит для решения обозначенных задач. В результате применения метрики для более чем 1 000 сгенерированных ответов в исследовании делается вывод об их качестве. Также обозначаются недостатки измерения — субъективность экспертного подхода к оценке вариантов ответа, и поднимаются проблемы автоматизации подобных измерений.
Как ссылаться
Ярмахов, Б. Б. & Дрейцер, С. И. (2025). РАЗРАБОТКА ЗАДАНИЙ К ДИДАКТИЧЕСКИМ ЕДИНИЦАМ ЦИФРОВОГО АДАПТИВНОГО УЧЕБНИКА С ПОМОЩЬЮ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ , № 3 (73), 50. https://doi.org/10.24412/2072-9014-2025-373-50-60
Список литературы
1.
1. Крокер Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина. М.: Логос, 2010. 667 с.
2.
2. Карпенко А. П. Тестовый метод контроля качества обучения и критерии качества образовательных тестов. Обзор / А. П. Карпенко, А. С. Домников, В. В. Белоус // Наука и образование. 2011. № 4. C. 1–28.
3.
3. Kowash M. Evaluating the Quality of Multiple Choice Question in Paediatric Dentistry Postgraduate Examinations / M. Kowash, I. Hussein, M. Al Halabi // Sultan Qaboos Univ Med J. 2019. No. 19 (2). P. e135–e141.
4.
4. Sajjad M. Nonfunctional distractor analysis: An indicator for quality of Multiple choice questions / M. Sajjad, S. Iltaf, R. A. Khan // Pak J Med Sci. 2020. No. 36 (5). Р. 982–986.
5.
5. Vatsal R. Assessing Distractors in Multiple-Choice Tests / R. Vatsal, V. Raina, A. Liusie, M. Gales // Proceedings of the 4th Workshop on Evaluation and Comparison of NLP Systems. 2023. P. 12–22.
6.
6. Ansari M. Assessment of distractor efficiency of MCQS in item analysis / M. Ansari, R. Sadaf, A. Akbar // Professional Med. Journal. 2022. No. 29 (5). Р. 730–734.
7.
7. Qiu Zh. Automatic Distractor Generation for Multiple Choice Questions in Standard Tests / Zh. Qiu, X. Wu, W. Fan // Proceedings of the 28th International Conference on Computational Linguistics. 2020. Р. 2096–2106.
8.
8. Pho V.-M. Distractor quality evaluation in Multiple Choice Questions / V.-M. Pho, A.-L. Ligozat, B. Grau // Artificial Intelligence in Education. 2015. Vol. 9112. Р. 377–386.
9.
9. Baldwin P. A Natural-Language-Processing-Based Procedure for Generating Distractors for Multiple-Choice Questions / P. Baldwin, J. Mee, V. Yaneva // Evaluation & the Health Professions. 2022. No. 45 (4). Р. 327–340.
10.
10. Tran A. Generating Multiple Choice Questions for Computing Courses Using Large Language Models / A. Tran, K. Angelikas, E. Rama // IEEE Frontiers in Education Conference (FIE). 2023. Р. 1–8.
11.
11. Соснин А. В. Взаимосвязь экспертных категорий и автоматических метрик, используемых для оценки качества перевода / А. В. Соснин, Ю. В. Балакина, А. Н. Кащихин // Вестник Санкт-Петербургского университета. Серия: Язык и литература. 2022. Т. 19. № 1. С. 125–148.
12.
12. Ярмахов Б. Б. Генерация вопросов к адаптивному учебнику по биологии на основе технологий искусственного интеллекта / Б. Б. Ярмахов, С. И. Дрейцер // Педагогическая инноватика и непрерывное образование в XXI веке: сб. науч. тр. II Междунар. науч.-практ. конф. (Киров, 20 мая 2024 г.). Киров: Вятский ГАТУ, 2024. С. 161–165.
13.
13. Тихонова М. И. Методы оценивания языковых моделей в задачах понимания естественного языка: дис. ... канд. физ.-мат. наук / М. И. Тихонова. Москва, 2023. 77 с.
14.
14. Snover M. A study of translation edit rate with targeted human annotation / M. Snover, B. Dorr, R. Schwartz // Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers. Cambridge, 2006. P. 223–231.
15.
15. Нуриев В. А. Методы оценки качества машинного перевода: современное состояние / В. А. Нуриев, А. Ю. Егорова // Информатика и ее применения. 2021. Т. 15. Вып. 2. С. 104–111.
16.
16. Тимохин И. В. Автоматизация генерации заголовков новостных статей / И. В. Тимохин, Н. Б. Осипенко // Проблемы физики, математики и техники. 2020. Вып. 3 (44). С. 92–94.
17.
17. Митренина О. В. Как и какой перевод (не) оценивают компьютеры / О. В. Митренина, А. Г. Мухамбеткалиева // Journal of applied linguistics and lexicography. 2021. Т. 3. № 2. С. 77–84.
18.
18. Ярмахов Б. Б. Цифровой адаптивный учебник биологии: разработка и Апробация / Б. Б. Ярмахов, С. В. Суматохин, О. В. Кукушкина // Биология в школе. 2024. № 2. С. 23–31.
19.
19. Ярмахов Б. Б. Трансформация диалога в эпоху больших языковых моделей / Б. Б. Ярмахов // Диалог культур — культура диалога в многонациональном городском пространстве: материалы Четвертой междунар. науч.-практ. конф. (Москва, 27 февраля 2024 г.). М.: Языки Народов Мира, 2024. С. 295–301.
20.
20. Пасечник В. В. Биология. 6 класс: учебник / В. В Пасечник, С. В. Суматохин, З. Г. Гапонюк. М.: Просвещение, 2023. 160 с.