DERİN SİNİR AĞLARI İLE EEG VE ALIN EOG TABANLI DUYGU ANALİZİ

Abstract

ÖZET

Duygu tanımada çok kanallı elektroensefalografi (EEG) sinyallerinin kullanımı giderek daha yaygın hale gelmektedir. Ancak yapılan çalışmalarda, EEG sinyallerinin karmaşıklığından dolayı aynı kişiden kaydedilen sinyallerde bile bozulmalar olabildiği görülmüştür. Bu yüzden insan beyninden elde edilen EEG sinyallerinin doğru ve tutarlı bir şekilde analiz edilmesi ve işlenmesi gerekir. Duygu tanımada yüksek doğruluk oranı elde etmek için destek vektör makinesi, yapay sinir ağı, derin inanç ağı ve son zamanlarda sıkça kullanılan evrişimli sinir ağı (CNN) gibi birçok makine öğrenme algoritması kullanılmıştır. Özellikle CNN temelli yaklaşımlar, yüksek doğruluk oranlarına ulaşmaları nedeniyle çok tercih edilmektedir. Ancak bu yaklaşımlar EEG sinyallerinin uzamsal özelliklerini görmezden gelir. Bu nedenle hedef veriler bozulduğunda CNN temelli modellerin sınıflandırma doğruluğu düşer. Başka bir deyişle, geleneksel yöntemler EEG kanallarının komşuluk ilişkisini ve hiyerarşik düzenini tanımlayamaz. Kapsül ağları, EEG sinyallerinin uzamsal özelliklerinin de ağa öğretilmesini sağlar. Ancak orijinal kapsül ağında EEG sinyallerinin derin özellikleri tespit edilememektedir. Bu tez çalışmasında, EEG verilerinden uygun kanalların seçilmesini, seçilen kanalların Welch güç spektral yoğunluk tahmini ile özelliklerinin çıkarılmasını ve gelişmiş kapsül ağı tabanlı sınıflandırma algoritmasını içeren bir yöntem sunulmaktadır. Sunulan yöntem üzerine iki ayrı çalışma yapılmıştır. Birinci çalışmada, literatürde bulunan en etkili kanallar tespit edilerek Seed EEG veri setinde pozitif, negatif ve nötr duygular üzerinde yüksek doğruluk oranları (%98.21) elde edilmiştir. Seed EEG veri setinde bulunan elektrookülografi (EOG) verisi, EEG sinyallerindeki göz kırpma artefaktlarını tanımlamak için kullanılmıştır. Aynı zamanda elde edilen sonuçlar CNN, AlexNet, DenseNet, VGG11, LeNet ve ResNet ile karşılaştırılmıştır. Son olarak, önerilen yöntem Dreamer ve Deap veri setleri ile test edilmiştir. İkinci çalışmada ise ABC algoritmasının dört farklı varyasyonu ile Seed EEG veri setindeki en etkili kanallar tespit edilmiş, tespit edilen kanalların Welch güç sprektral yoğunluğu tahmini ile özellikleri çıkarılmış ve gelişmiş kapsül ağı tabanlı model ile sınıflandırılmıştır. Çalışma sonucunda Seed EEG veri seti üzerinde %99.83 oranında sınıflandırma doğruluğu elde edilmiştir.

ABSTRACT

The use of multi-channel electroencephalography (EEG) signals in emotion recognition is becoming more common. However, studies have shown that due to the complexity of the EEG signals, even the signals recorded from the same person may be distorted. Therefore, EEG signals obtained from the human brain need to be analyzed and processed accurately and consistently. Many machine learning algorithms such as support vector machine, artificial neural network, deep belief network and convolutional neural network (CNN) have been used in emotion recognition. Especially CNN-based approaches are highly preferred due to their high accuracy. However, these approaches ignore the spatial properties of EEG signals. Therefore, the classification accuracy of CNN-based models decreases when the target data is corrupted. In other words, traditional methods cannot define the neighborhood relationships and hierarchical orders of EEG channels. Capsule networks allow the spatial properties of EEG signals to be taught to the network. However, deep features of EEG signals cannot be detected in the original capsule network. In this thesis, a method is presented that includes selecting suitable channels from EEG data, extracting the features of selected channels with Welch power spectral density estimation, and an enhanced capsule network-based classification algorithm. Two separate studies were conducted on the presented method. In the first study, the most effective channels in the literature were determined and high accuracy rates (98.21%) were obtained on positive, negative and neutral emotions in the Seed EEG data set. Electrooculography (EOG) data contained in the Seed EEG dataset was used to identify blink artifacts in EEG signals. At the same time, the obtained results were compared with CNN, AlexNet, DenseNet, VGG 11, LeNet and ResNet. Finally, the proposed method has been tested with Dreamer and Deap datasets. In the second study, the most effective channels in the Seed EEG data set were determined with four different variations of the ABC algorithm, the features of the detected channels were extracted by Welch power spectral density estimation and classified with the advanced capsule network-based model. As a result of the study, 99.83% classification accuracy was obtained on the Seed EEG data set.