YAPAY ZEKA TEKNİKLERİ KULLANILARAK MİKRO İFADELERİN TESPİTİ VE SINIFLANDIRILMASI

Abstract

ÖZET

Mikro ifade, duyguların maskelenmek istenip bastırılmaya çalışıldığı sırada kontrol edilemeyip istemsizce sızıntı şeklinde oluşan, tamamen gerçek duyguların yansıması, kısa süreli yüz kas hareketidir. Yüzün sadece bir kısmında görülen düşük yoğunluklu bu ifadeleri tespit etmek ve tanımak klinik, adli, ulusal güvenlik, gümrük, iletişim, eğitim, ticari, siyasi gibi birçok alanda hayati önem arz etmektedir. Bu alanda uzmanlaşmamış insanların bu ifadeleri fark etme oranları %32 gibi çok düşükken, uzman kişiler için bile mikro ifade belirleme oranı %47’dir ve bu oran çok yüksek değildir. Mikro ifade tanıma yapılamadığı takdirde klinik hastalarında intihar, gümrüklerde kaçakçılık, hukukta adaletsiz yargılama gibi hayati olaylar yanlış yorumlanıp olumsuz neticelere sebebiyet verebilir. Mikro ifade tespit ve tanınması uzman tarafından video klip karelerinin saatler süren uzun ve detaylı bir şekilde analiz edilmesi gerekmektedir. Kamuda ve özel sektörde mikro ifade alanında yetişmiş uzman kişilerin varlığı çok olmadığı gibi saatler süren eğitim sonunda bile istenilen verim elde edilememektedir. Bu tez çalışmasında yapay zeka metotlarından faydalanılarak mikro ifade video klip görüntülerinde duyguların belirlenmesine çalışılmıştır. Önerilen model çalışmalarının ikisinde kamuya açık veri setlerinden en popüler olan CASME II, SAMM, SMIC de bulunan örnekler birleştirilip bileşik yeni bir veri seti kullanılırken, önerilen bir diğer model çalışmasında ise CASME II veri seti kullanılmıştır. İlk olarak SAMM veri setindeki örneklerde yüz algılama, hizalama ve kırpma işlemleri ile yüz bölgesini çıkarma, SMIC veri setindeki video kare dizilerinde ifadenin en yoğun olduğu tepe (apex) karesinin indeks konumları tespit etme işlemleri gerçekleştirilmiştir. Ardından TV-L1 ve Farneback optik akış teknikleri ile her video klip kare dizisi için tepe ve başlangıç(onset) kare farkından yararlanılarak mikro ifade hareket bilgisi elde edilmiştir. Görüntülere ait özellik haritalarının çıkarılmasında, veriye dayalı derin öğrenme yöntemlerinden VGG-16, AlexNet, SqueezeNet, MobilNetV2, EfficentNetB0, DenseNet121, DenseNet169, DenseNet201, Xception Evrişimsel Sinir Ağı (ESA) modelleri ve geleneksel yöntemlerden Gabor filtresinden deneysel çalışmalarda faydalanılmıştır. ESA modellerinde transfer öğrenme ile ImageNet’e ait öğrenilmiş ağ ağırlıklarından yararlanılmıştır. Özellik seçimi için çalışmaya ait deneylerde Parçacık Sürü Optimizasyonu (PSO), Özyinelemeli Özellik Eleme (ÖÖE) ve Çapraz Doğrulama ile Özyinelemeli Özellik Eleme (ÇDÖÖE) algoritmaları, sınıflandırma sürecinde ise Destek Vektör Makineleri (DVM)’nin doğrusal, quadratic, finegaussian, cubic çekirdekleri kullanılmıştır. Sonuç olarak; önerilen üç model içerisinde en başarılı sonuçlar CASME II veri seti ile birlikte sırasıyla Xception ESA modeli, ÇDÖÖE özellik seçim algoritması ve doğrusal DVM sınıflandırıcısından oluşan mikro ifade duygu tanıma modelinden %92.48 doğruluk performansı elde edilmiştir.

ABSTRACT

A micro-expression is a brief facial muscle movement that occurs involuntarily and uncontrollably as a leakage of genuine emotions when there is an attempt to conceal or suppress emotions. It completely reflects real feelings and occurs for a short duration. Detecting and recognizing these low-intensity expressions that occur only on the part of the face is of vital importance in various fields such as clinical, forensic, national security, customs, communication, education, commercial, and political domains. While the detection rate of these expressions is very low, such as 32%, for individuals who are not specialized in this field, even experts in the area have a micro-expression identification rate of only 47%, which is not considered to be very high. In cases where micro-expression recognition cannot be performed, vital events such as suicide in clinical patients, smuggling at customs, and unjust judgments in law may be misinterpreted, leading to negative consequences. Micro-expression detection and recognition require an expert's laborious and detailed analysis of video clip frames, which can take hours. The presence of trained professionals in the field of micro-expression is scarce both in the public and private sectors, and even after hours of training, the desired efficiency cannot be achieved. This study utilized artificial intelligence methods to determine emotions in micro-expression video clips. In the two suggested model studies, a compound new dataset was created by combining samples from the publicly available datasets CASME II, SAMM, and SMIC, among the most popular ones. On the other hand, in another proposed model study, only the CASME II dataset was used. Firstly, facial detection, alignment, and cropping operations were performed in the SAMM dataset to extract the facial regions. In the SMIC dataset, the operations involved detecting the index positions of the frames where the expression was most intense, known as the apex frames. Subsequently, the TV-L1 and Farneback optical flow techniques were utilized to obtain micro-expression motion information for each video clip frame sequence. This was achieved by leveraging the differences between the apex frame and the onset frame, which represents the start of the micro-expression. In the extraction of feature maps from the images, experimental studies were conducted using data-driven deep learning methods such as VGG-16, AlexNet, SqueezeNet, MobileNetV2, EfficientNetB0, DenseNet121, DenseNet169, DenseNet201, Xception Convolutional Neural Network (CNN) models, as well as traditional methods such as the Gabor filter. In CNN models, transfer learning was employed using pre-trained network weights from ImageNet. For feature selection, Particle Swarm Optimization (PSO), Recursive Feature Elimination (RFE), and Cross-Validated Recursive Feature Elimination (RFECV) algorithms were utilized in experimental studies. Support Vector Machines (SVMs) with linear, quadratic, finegaussian, and cubic kernels were used in the classification process. As a result, among the three proposed models, the micro-expression emotion recognition model composed of the Xception CNN model, RFECV feature selection algorithm, and linear SVM classifier achieved a performance accuracy of 92.48% when evaluated with the CASME II dataset, yielding the most successful results.