FACE TOUCH DETECTION BASED ON HAND GESTURE RECOGNITION USING WEARABLE MOTION SENSORS AND DEEP LEARNING

Abstract

ABSTRACT

Wearable devices like fitness bands and smartwatches have increased in popularity in recent years. Those devices are fitted with wide range of health, fitness, and motion sensors that can be utilized to analyze and monitor body and hand activities. Being worn on the wrist or arm make them a good candidate for hand activity monitoring applications like Hand Gesture Recognition (HGR). With the worldwide spread of COVID-19 pandemic, many recommendations were issued by World Health Organization (WHO), to avoid touching the face as it was a main method for viral infections. However, most face touches are done unconsciously that is why, it is difficult for people to monitor their hand moves and try to avoid touching the face which opens the need for automatic Face-Touch Detection (FTD) solution. This thesis proposes a smartwatch application that uses small, efficient, and end-to-end Convolutional Neural Networks (CNN) models to classify hand motion and identify Face-Touch moves. The application provides a real-time feedback and alerts the user with vibration and sound whenever attempting to touch the face, which leads to lower unconscious face touches and lower infection rates. The obtained results for recall, precision, F1-Score, and accuracy were calculated as 96.75%, 95.1%, 95.85%, 99.70% respectively, with low False Positives Rate (FPR) of 0.04%. By using efficient configurations and small models, the application can run for long hours without significant impact on battery which makes it applicable on most out-of-the-shelf smartwatches.

ÖZET

Fitness bantları ve akıllı saatler gibi bileğe takılan cihazların popülaritesi son yıllarda artmıştır. Bu cihazlar, vücut ve ellerin aktivitelerini analiz etmek ve izlemek için kullanılabilecek çok çeşitli sağlık, fitness ve hareket sensörleriyle donatılmıştır. Bileğe veya kola takılmaları ellerin hareketini tanıma gibi el aktiviteleri izleme uygulamaları için bu cihazları iyi bir seçenek yapmaktadır. COVID-19 pandemisinin dünya çapında yayılmasıyla birlikte, Dünya Sağlık Örgütü (WHO) viral enfeksiyonlara sebebiyet verebilen el ile yüze temas etmekten kaçınmanın önemi üzerinde durmuştur. Fakat, yüze dokunuşların birçoğu bilinçsizce yapıldığından dolayı, insanların ellerinin hareketlerini izlemesi ve yüzlerine dokunmaktan kaçınması zordur. Bu durum otomatik olarak yüze dokunma tespiti ihtiyacını doğurmaktadır. Bu tezde ellerin hareketini sınıflandırmak ve yüze dokunma hareketlerini tanımlamak için küçük, verimli ve uçtan uca Evrişimsel Sinir Ağları (CNN) modelini kullanan bir akıllı saat uygulaması önerilmektedir. Geliştirilen uygulama gerçek zamanlı bir geri bildirim sağlamakta ve kullanıcıyı yüze dokunmaya çalıştığında titreşim ve sesle uyarmaktadır. Bu çözüm bilinçsizce yüze dokunuşlarının azalmasına ve enfeksiyon oranlarının düşmesine olanak sağlayacaktır. Elde edilen sonuçlara göre, önerilen çözüm %0.04'lük düşük Yanlış Pozitif Oranı, %96.75 ile ortalama hassasiyet, %95.1 ile ortalama kesinlik ve %95.85 ile ortalama F1-Skoruna ulaşmıştır. Verimli ayarlamalar ve küçük modeller kullanarak geliştirilen uygulama pil üzerinde önemli bir etki yaratmadan uzun saatler boyunca çalışabilir ve bu da onu kullanıma hazır akıllı saatlerin çoğuna uygulanabilir hale getirmektedir.