Потенциал использования интерактивного повествования в среде смешанной реальности при обучении казахскому языку жестов
Ключевые слова:
казахский язык жестов, смешанная реальность, интерактивное повествование, 3D изображение, учащиеся с нарушением слуха, MR технологии.Аннотация
Научная статья рассматривает актуальное направление в образовании детей с нарушениями слуха - использование интерактивного повествование в смешанной реальности (Mixed Reality, MR). В последние годы MR технологии приобрели большую значимость в сфере обучения, предоставляя уникальные возможности визуального восприятия информации в виртуальной среде.
Исследование обращает внимание на перспективы использования MR для решения задач обучения жестовому языку, важного элемента коммуникации для глухих и слабослышащих детей. В контексте Казахстана, где часто упускается из виду потребность этой уязвимой аудитории, статья представляет ценный опыт в обучении казахскому жестовому языку с использованием современных технологий.
Авторы статьи представляют результаты пилотного эксперимента, проведенного среди 24 учащихся специальных классов для детей с нарушением слуха в возрасте 10–14 лет. Этот эксперимент оценивал потенциал использования MR технологии для расширения словарного запаса и улучшения восприятия обучающего материала. В статье также обсуждаются предварительные наблюдения, выявленные ограничения и предлагаются возможные пути совершенствования использования смешанной реальности как дополнительного инструмента в образовательном процессе для детей с нарушением слуха. Также приводятся примеры и исследования, демонстрирующие использование смешанных технологий в образовании детей с нарушением слуха в различных странах. Это исследование способствует обогащению педагогической практики и развитию специального и инклюзивного образования.
Данная статья создает возможность распространения знаний и информации о технологических решениях в обучении детей с особыми образовательными потребностями. Она также предоставляет ценные ресурсы и инструменты, которые могут быть полезными для педагогов, исследователей и практиков, работающих в данной области.
Библиографические ссылки
ПАЙДАЛАНЫЛҒАН ӘДЕБИЕТТЕР ТІЗІМІ
Liu S., Toreini P., Maedche A. Designing Gaze-Aware Attention Feedback for Learning in Mixed Reality // Proceedings of Mensch und Computer 2022. – 2022. – Р. 503–508. DOI:10.1145/3543758.3547565 2. Arici F. et al. Research trends in the use of augmented reality in science education: Content and bibliometric mapping analysis // Computers & Education. – 2019. – Т. 142. – С. 103647. DOI:10.1016/j.compedu.2019.103647 3. Diegmann P. et al. Benefits of augmented reality in educational environments-a systematic literature review // 12th International Conference on Wirtschaftsinformatik, March 4-6, 2015. – Osnabrück, Germany. – P. 1542–1556. 4. Маняйкина Н.В., Надточева Е.С. Цифровое повествование: от теории к практике // Педагогическое образование в России. – 2015. – №10. – С. 60–64.
Педагогический словарь: учеб. пособие для студ. вузов / под ред. В.И. Загвязинского, А.Ф. Закировой. – М.: Академия, 2008. – 352 с. 6. Bacca Acosta J.L. et al. Augmented reality trends in education: a systematic review of research and applications // Journal of Educational Technology and Society. – 2014. – Vol. 17. – №4. – P. 133–149.
Жукенова Г., Кожахметова Д. Психолого-педагогические и организационные условия совместного обучения детей с особыми образовательными потребностями (на примере Аккольской средней школы №4) // Педагогика и психология. – 2021. – Т. 47. – №2. – С. 223–230.
Жумагелдиева А.Д., Абаева Ғ.А. Инклюзивті білім беру ортасында педагогтердің кәсіби даярлығын зерттеу // Ясауи университетінің хабаршысы. – 2023. – №1(127). – Б. 379–391. https://doi.org/10.47526/2023-1/2664-0686.31
Mukushev M. et al. FluentSigners-50: A signer independent benchmark dataset for sign language processing // Plos one. – 2022. – Т. 17. – №9. – С. e0273649.
Mukushev M. et al. Towards Large Vocabulary Kazakh-Russian Sign Language Dataset: KRSL-OnlineSchool // Proceedings of the LREC2022 10th Workshop on the Representation and Processing of Sign Languages: Multilingual Sign Language Resources. – 2022. – С. 154–158. 11. Shao Q. et al. Teaching american sign language in mixed reality // Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies. – 2020. – Т. 4. – №4. – С. 1–27. 12. Yang F.C., Mousas C., Adamo N. Holographic sign language avatar interpreter: A user interaction study in a mixed reality classroom // Computer Animation and Virtual Worlds. – 2022. – Т. 33. – №3–4. – С. e2082. 13. World Federation of the Deaf. WFD position paper on the language rights of deaf children. – 2016. [Electronic resource]. URL: chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://wfdeaf.org/wp-content/uploads/2017/01/WFD-Position-Paper-on-Language-Rights-of-Deaf-Children-7-Sept-2016.pdf (date of access 19.09.2023) 14. Adamo-Villani N., Anasingaraju S. Holographic signing avatars for deaf education // E-Learning, E-Education, and Online Training: Third International Conference, eLEOT 2016, Dublin, Ireland, August 31–September 2, 2016. Revised Selected Papers. – Springer International Publishing, 2017. – С. 54–61. 15. Miller A. et al. The use of smart glasses for lecture comprehension by deaf and hard of hearing students // Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems. – 2017. – С. 1909–1915.
Инструктивно-методическое письмо «Об особенностях учебно-воспитательного процесса в организациях среднего образования Республики Казахстан в 2023–2024 учебном году». [Electronic resource]. URL: https://uba.edu.kz/ru/metodology/2 (date of access 19.09.2023)
Brown G., Yule G. Teaching the spoken language. – Cambridge university press, 1983. – Т. 2. – 24 р.
REFERENCES
Liu S., Toreini P., Maedche A. Designing Gaze-Aware Attention Feedback for Learning in Mixed Reality // Proceedings of Mensch und Computer 2022. – 2022. – Р. 503–508. DOI:10.1145/3543758.3547565 2. Arici F. et al. Research trends in the use of augmented reality in science education: Content and bibliometric mapping analysis // Computers & Education. – 2019. – Т. 142. – С. 103647. DOI:10.1016/j.compedu.2019.103647 3. Diegmann P. et al. Benefits of augmented reality in educational environments-a systematic literature review // 12th International Conference on Wirtschaftsinformatik, March 4-6, 2015. – Osnabrück, Germany. – P. 1542–1556. 4. Maniaikina N.V., Nadtocheva E.S. Cifrovoe povestvovanie: ot teorii k praktike // Pedagogicheskoe obrazovanie v Rossii. – 2015. – №10. – S. 60–64. [in Russian] 5. Pedagogicheskiy slovar: ucheb. posobie dlia stud. vuzov / pod red. V.I. Zagviazinskogo, A.F. Zakirovoi. – M.: Akademia, 2008. – 352 s. [in Russian] 6. Bacca Acosta J.L. et al. Augmented reality trends in education: a systematic review of research and applications // Journal of Educational Technology and Society. – 2014. – Vol. 17. – №4. – P. 133–149. 7. Jukenova G.B., Kojahmetova D.M. Psihologo-pedagogicheskie i organizacionnye uslovia sovmestnogo obuchenia detei s osobymi obrazovatelnymi potrebnostiami (na primere Akkolskoi srednei shkoly No4 [Psychological, pedagogical and organizational conditions for co-education of children with special educational needs (on the example of the Akkol secondary School No.4)] // Pedagogika jane psihologia. –2021. –No2 (47). – S. 223–230. [in Russian]
Jumageldieva A.D., Abaeva G.A. Inkliuzivtі bіlіm beru ortasynda pedagogterdіn kasіbi daiarlygyn zertteu [Research of Professional Readiness of Teachers in an Inclusive Educational Environment] // Iasaui universitetіnіn habarshysy. – 2023. – No1 (127). – B. 379–391. https://doi.org/10.47526/2023-1/2664-0686.31 [in Kazakh] 9. Mukushev M. et al. FluentSigners-50: A signer independent benchmark dataset for sign language processing // Plos one. – 2022. – Т. 17. – №9. – С. e0273649. 10. Mukushev M. et al. Towards Large Vocabulary Kazakh-Russian Sign Language Dataset: KRSL-OnlineSchool // Proceedings of the LREC2022 10th Workshop on the Representation and Processing of Sign Languages: Multilingual Sign Language Resources. – 2022. – С. 154–158. 11. Shao Q. et al. Teaching american sign language in mixed reality // Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies. – 2020. – Т. 4. – №4. – С. 1–27. 12. Yang F.C., Mousas C., Adamo N. Holographic sign language avatar interpreter: A user interaction study in a mixed reality classroom // Computer Animation and Virtual Worlds. – 2022. – Т. 33. – №3–4. – С. e2082. 13. World Federation of the Deaf. WFD position paper on the language rights of deaf children. – 2016. [Electronic resource]. URL: chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://wfdeaf.org/wp-content/uploads/2017/01/WFD-Position-Paper-on-Language-Rights-of-Deaf-Children-7-Sept-2016.pdf (date of access 19.09.2023) 14. Adamo-Villani N., Anasingaraju S. Holographic signing avatars for deaf education // E-Learning, E-Education, and Online Training: Third International Conference, eLEOT 2016, Dublin, Ireland, August 31–September 2, 2016. Revised Selected Papers. – Springer International Publishing, 2017. – С. 54–61. 15. Miller A. et al. The use of smart glasses for lecture comprehension by deaf and hard of hearing students // Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems. – 2017. – С. 1909–1915. 16. Instruktivno-metodicheskoe pismo «Ob osobennostiah uchebno-vospitatelnogo processa v organizaciah srednego obrazovania Respubliki Kazahstan v 2023–2024 uchebnom godu». [Electronic resource]. URL: https://uba.edu.kz/ru/metodology/2 (date of access 19.09.2023) [in Russian]
Brown G., Yule G. Teaching the spoken language. – Cambridge university press, 1983. – Т. 2. – 24 р.
