DEVELOPMENT OF DEEP LEARNING-BASED SENTIMENT ANALYSIS APPROACHES WITH NEURAL NETWORK-BASED LANGUAGE MODELS

Abstract

ABSTRACT

Sentiment Analysis (SA) is a Natural Language Processing task that automatically identifies and categorises sentiments or opinions expressed in textual sources. Artificial Intelligence techniques applied in SA tasks are essential in improving business decision-making by providing more precise and reliable insights into customer preferences and sentiment trends. In this context, large-scale product reviews are a valuable source of information with significant potential for businesses aiming to extract the distinctive features of their products, understand customer sentiments and thus improve their services. However, for businesses serving large user populations, performing accurate and precise analysis of product feedback is a complex process that requires automated approaches. Furthermore, difficulties can arise in verifying the consistency of user-generated satisfaction ratings with the relevant review. Another challenge in SA tasks is the inherent complexity of sentiment expressions, where words or phrases can express different sentiments in various contexts. Given the complexity of sentimental expressions, interpreting words correctly requires understanding the context in which they are used. Therefore, contextualizing words or sentences using automated approaches and selecting appropriate classifiers are critical factors to perform better in solving SA problems.

To address the aforementioned problems, this thesis proposes Deep Learning-based SA approaches that use contextualized and context-free (static) language models as their inputs, using product reviews and user satisfaction ratings. In this thesis, state-of-the-art pre-trained language models in the form of Bidirectional Encoder Representations from Transformers (BERT) and Embeddings from Language Model (ELMo) are used to generate the contextual representation vectors of words or sentences to generate richer word or sentence representations to capture the sentiment expressed in textual sources more accurately. In addition to Contextualized Language Models (CLMs), Static Neural Network-based Language Models (SLMs) such as Word2Vec, Global Vectors for Word Representation (GloVe) and FastText are also used in this study. Classification models based on Deep Feed Forward Neural Networks, Long-Short Memory, Bidirectional Long-Short Memory, and Convolutional Neural Networks have been developed to classify word or text representations. To analyze the effectiveness of the proposed approaches and the contribution of the applied language models to the classification performance, experimental studies were carried out on Amazon review data, considered a benchmark dataset by most researchers in the literature. When the results of the experimental studies are analyzed, high and competitive performance results are obtained with the proposed approaches. In particular, the approach using the CNN-based BERT language model was found to have the highest performance, with 97% training and 95% testing accuracy.

In summary, it has been observed that Deep Learning-based SA approaches using CLMs and SLMs effectively capture sentimental expressions in textual sources. Moreover, the findings reveal the potential and practical value of the proposed approaches in developing SA techniques for businesses to decide on customer preferences and sentiments.

ÖZET

Duygu Analizi (DA), metinsel kaynaklarda ifade edilen duyguların veya fikirlerin otomatik olarak tanımlanmasını ve kategorize edilmesini içeren Doğal Dil İşleme görevidir. DA görevlerinde uygulanan Yapay Zeka teknikleri, müşteri tercihleri ve duygu eğilimleri hakkında daha kesin ve güvenilir içgörüler sağlayarak işletmelerin karar alma süreçlerini geliştirmede önemli bir rol oynamaktadır. Bu bağlamda büyük ölçekli ürün incelemeleri, ürünlerinin ayırt edici özelliklerini çıkarmayı, müşteri duygularını anlamayı ve bu sayede hizmetlerini iyileştirmeyi amaçlayan işletmeler için önemli bir potansiyele sahip değerli bilgi kaynağıdır. Ancak büyük kullanıcı popülasyonuna hizmet veren işletmeler için, ürünlerinin geri bildirimleri üzerinde doğru ve hassas analizler gerçekleştirmek otomatikleştirilmiş yaklaşımlar gerektiren karmaşık bir süreçtir. Bununla birlikte kullanıcıların oluşturduğu memnuniyet derecelendirmelerinin ilgili incelemeyle olan tutarlılığının doğrulanmasında da zorluklar ortaya çıkabilmektedir. DA görevlerinde diğer bir zorluk ise kelime veya ifadelerin çeşitli bağlamlarda farklı duyguları ifade edebildiği duygu ifadelerinin doğasında var olan karmaşıklıktır. Duygu ifadelerindeki karmaşıklık göz önüne alındığında, kelimeleri doğru bir şekilde yorumlamak, ifadelerin kullanıldığı bağlamı anlamayı gerektirir. Bu sebeple DA problemlerinin çözümünü daha performanslı bir şekilde gerçekleştirmek için; otomatikleştirilmiş yaklaşımlar kullanarak, kelimeleri veya cümleleri bağlamsallaştırmak ve uygun sınıflandırıcıları seçmek kritik faktörlerdir.

Yukarıda bahsedilen problemleri ele almak için bu tez çalışmasında, ürün incelemeleri ve kullanıcı memnuniyet dereceleri kullanılarak, girdilerinde bağlamsallaştırılmış ve bağlamdan bağımsız (statik) dil modellerini kullanan Derin Öğrenme tabanlı DA yaklaşımları önerilmiştir. Söz konusu tez çalışmasında, daha zengin kelime veya cümle temsilleri üreterek metinsel kaynaklarda ifade edilen duyguların daha hassas bir şekilde ele alabilmek için, kelime veya cümlelerin bağlamsal temsil vektörlerinin üretilmesinde Dönüştürücülerden Çift Yönlü Kodlayıcı Temsilleri (BERT) ve Dil Modelinden Temsiller (ELMo) şeklinde son teknoloji önceden eğitilmiş dil modelleri kullanılmıştır. Bağlamsallaştırılmış Dil Modellerine (BDM) ek olarak bu çalışmada Word2Vec, Kelime Temsili için Küresel Vektörler (GloVe) ve Fasttext gibi Statik Sinir Ağı tabanlı Dil Modellerine (SDM) de yer verilmiştir. Kelime veya metin temsillerinin sınıflandırılmasında ise, Derin İleri Beslemeli Sinir Ağı, Uzun Kısa Süreli Bellek, Çift Yönlü Uzun Kısa Süreli Bellek ve Evrişimli Sinir Ağı tabanlı sınıflandırıcı modeller geliştirilmiştir. Önerilen yaklaşımların etkinliklerini ve uygulanan dil modellerinin sınıflandırma performanslarına olan katkılarını analiz etmek amacıyla, literatürde çoğu araştırmacı tarafından kıyaslama veri seti olarak kabul edilmiş Amazon inceleme verileri üzerinde deneysel çalışmalar gerçekleştirilmiştir. Deneysel çalışmaların sonuçları analiz edildiğinde, önerilen yaklaşımlarla yüksek ve rekabetçi performans sonuçları elde edilmiştir. Özellikle CNN tabanlı BERT dil modelini kullanan yaklaşımın %97 eğitim ve %95 test doğruluğu ile en yüksek performansa sahip olduğu belirlenmiştir.

Özetle BDM ve SDM kullanan Derin Öğrenme tabanlı Duygu Analizi yaklaşımlarının, metinsel kaynaklardaki duygu ifadelerinin ele alınmasında etkili performanslar sergilediği gözlemlenmiştir. Ayrıca bulgular DA tekniklerinin geliştirilmesinde önerilen yaklaşımların işletmelerin müşteri tercihlerine ve duygularına ilişkin kararlar alma konusundaki önemli potansiyelini ve pratik değerini ortaya koymuştur.