ARTIRILMIŞ GERÇEKLİK KULLANARAK UZAK REHBERLİK YARDIMI UYGULAMASI

Abstract

ÖZET

Bu çalışmada, Covid-19 pandemisi ile hayatımıza giren sosyal mesafe kavramının oluşturduğu zorluklara çözüm getirilmesi amaçlanmıştır. Pandemi hayatımızdaki birçok günlük alışkanlıklarımızı değiştirmiştir. Örneğin, yerinde gerçekleştirilen basit çalışmalar yerlerini işaretleme gerektiren uzaktan iş birliklerine bırakmıştır. Bu tür görevleri gerçekleştirmek için geleneksel görüntülü arama ve telekonferans yaygın olarak kullanılırken, artırılmış gerçeklik sistemlerinin geleneksel sistemlerden (örneğin kullanım kılavuzları, ses ve video içeriği) daha kullanıcı dostu ve verimli olduğu gösterilmiştir. Bu nedenle, artırılmış gerçeklik teknolojisi son yıllarda gelişerek birçok endüstride ve uygulamalarda uygulanmaktadır.

Bu tezde, artırılmış gerçeklik teknolojisi ile görüntülü telefon görüşmelerinin birleştirilerek kullanıcı ve uzman arasındaki görüşmede işaretler ve çizimler kullanabilmeleri amaçlanmıştır. Uygulama, yalnızca akıllı telefonlarda bulunan sensör teknolojilerini kullanmaktadır ve harici işaret (marker) gerektirmemektedir. Önerilen yaklaşım ile gerçek ve sanal dünyaları entegre edilmektedir hem kullanıcının hem de uzman tarafının görüntü üzerinde çizimler ve işaretler koymasını sağlamaktadır, böylelikle kullanıcı bakış açısı değişmesine rağmen uzmandan gelen talimatları başarılı bir şekilde görebilmektedir. Uzaktan yardım uygulamasının nasıl hizmet ettiğini görmek amaçlı bir kullanıcı deneyi gerçekleştirilmiştir. Çalışmanın sonuçları sistemin uzaktan rehberlik sistemlerine katkı sağladığı görülmüştür.

ABSTRACT

In this study, we aim to find a solution to the difficulties created by the concept of social distancing that came into our lives with the Covid-19 pandemic. The pandemic has changed many of our daily habits in our lives. For instance, local operations have given place to remote collaborations in even simple tasks such as pointing or manual assembling operations. While conventional video call and teleconferencing are commonly in use to perform such tasks, Augmented Reality (AR) systems are shown to be more user-friendly and efficient than traditional systems (for instance user manuals, audio, and video content). Therefore, AR technology has been improved and applied in many industries and its applications in recent years.

In this thesis, we proposed to combine AR technology with video phone calls so that two remote users, one needing help and the other expert, can use signs and drawings in the conversation between each other. The system solely relies on self-contained sensing technologies exist on off-the-shelf mobile smartphone and does not require any external markers. The proposed approach simply integrates the real and virtual worlds, enable both local (user needing help) and remote (expert) users to put anchors such as markings and drawings in the view, thus the local user can see instructions successfully from the remote user even perspective changes. We conducted preliminary user study to show how it serves as remote assistance system. Results of the study show that our system contributes as remote guidance.