A VIRTUAL REALITY ASSISTED LANGUAGE AND CULTURE LEARNING APPLICATION

Abstract

ABSTRACT

In this study, a virtual reality (VR) application is created, using the unique advantages of virtual reality technology, such as immersive experiences and interactive object manipulation, to create an innovative language and culture learning environment focused to Turkish language, using Experiential Learning Method. A flashcard game is designed for vocabulary practice, along with a Generative Conversational AI based realistic Metahuman, to enhance the VR experience. A virtual classroom environment is designed to mimic the ambiance of a real classroom, providing learners with a familiar and conducive learning space, enhancing their focus and engagement with the learning material. The AI based Metahuman that resembles a Turkish teacher is designed with high realism and can interact with users in a natural and lifelike manner. The use of a Metahuman adds a personal touch to the learning experience, simulating the presence of an actual instructor and thereby enriching the educational interaction. Generative conversational AI enables the Metahuman teacher to engage in dynamic and responsive dialogues with learners. This AI-driven interaction allows for a more personalized learning experience, as the virtual teacher can adapt conversations and feedback to the individual needs and responses of each user. The generative AI aspect ensures that the conversations are not just scripted interactions but are instead evolving and contextually relevant, closely mimicking a real-life language learning scenario. An experiment was conducted among 12 foreign users, comparing the same settings in both VR and classical desktop setup and users preferred VR over desktop. Citing that flash card game was more memorable and interactable than desktop setup, and the classroom environment with a virtual assistant helped to increase their motivation.

ÖZET

Bu çalışmada, sanal gerçeklik teknolojisinin tam dalış sürükleyiciliği ve etkileşimli nesne manipülasyonu gibi özelliklerinden yararlanılarak bir sanal gerçeklik uygulaması geliştirilmiştir. Uygulamada Deneyimsel Öğrenme Yöntemi (Experiential Learning Theory) kullanılarak Türkçe diline ve kültürüne odaklı bir öğrenme ortamı oluşturulmuştur. Nesne manipülasyonu için bir flaş kart oyunu, tam dalış sürükleyiciliğini arttırmak için ise bir sınıf ortamı ve Üretken Konuşkan Yapay Zeka’ya (Generative Conversaitonal AI) sahip bir sanal asistan eklenmiştir. Sanal sınıf ortamı, gerçek sınıfın ortamını taklit etmek, öğrencilere tanıdık ve elverişli bir öğrenme alanı sağlamak, odaklarını ve öğrenme materyaliyle etkileşimlerini geliştirmek için tasarlanmıştır. Türkçe öğretmeni şeklinde eğitilmiş yapay zeka tabanlı Metahuman (Gerçekçi İnsan Modeli), gerçekçi grafiklere sahiptir ve kullanıcılarla doğal ve gerçekçi bir şekilde etkileşime girebilir. Kelime öğrenimi odaklı flaş kart oyununda ise nesne manipülasyonu ile kartların masaüstü uygulamaların aksine 3 boyutlu şekilde tutulup döndürülebilmesi sağlanarak sanal gerçekliğin avantajlarından faydalanılmıştır. Uygulama, 12 yabancı kullanıcı ile test edilmiştir. Sonuçlar kullanıcıların sanal gerçekliği masaüstü uygulamalarına tercih ettiğini, flaş kart kelime oyununun sanal gerçeklik versiyonunun masaüstü versiyonuna göre daha akılda kalıcı ve ilgi çekici olduğunu, oluşturulan ortamın ve akıllı asistanın öğrenme motivasyonlarını arttırdığını belirtmiştir.