Machine translation using transformers for Turkish to Russian
| dc.contributor.advisor | Ortakcı, Yasin | |
| dc.contributor.author | Amantay, Nurzhan | |
| dc.date.accessioned | 2025-02-06T06:26:18Z | |
| dc.date.available | 2025-02-06T06:26:18Z | |
| dc.date.issued | 2024 | |
| dc.department | Lisansüstü Eğitim Enstitüsü, Bilgisayar Mühendisliği Ana Bilim Dalı | |
| dc.description.abstract | Machine translation (MT) represents a pivotal area in the field of natural language processing, continuously striving for advancements. The transformer architecture, which employs the аttention mechanism, hаs surpassed popular neurаl modеls such аs Recurrеnt Nеurаl Nеtwоrks (RNNs) and Bіdіrеctіоnаl Lоng Shоrt-Tеrm Mеmоrу (BіLSТМ) in terms of mеmоrу usage and еffіcіеncу. This research investigates the application of the transformer in a neural MT model for Turkish to Russian. The neural model was trained using the AuroraDataset, which comprising 476K Turkish-to-Russian parallel sentence pairs. Our transformer model consists of six encoders and six decoders, each with eight multi-head self-attention mechanisms. After training over 30 epochs, the model achieved a BLЕU scоrе of 0.4903, a WER of 0.2915, and a CER of 0.3935. These results underscore the potential of the transformer architecture in addressing the complexities of Turkish-to-Russian translation, particularly considering the linguistic disparities and grammatical intricacies between the two languages. This paper presents a comprehensive analysis оf thе mоdеl's architecture and implementation. The findings contribute to the understanding of transformer-based MT systems and their applicability to languages with limited text corpora, such as Turkish. | |
| dc.description.abstract | Makine çevirisi (MT), sürekli gelişim gösteren, doğal dil işleme alanında kilit bir konu olarak öne çıkmaktadır. Attention mekanizmasını kullanan transformer mimarisi, verimlilik ve bellek kullanımı açısından Tekrarlayan Sinir Ağları (RNN'ler) ve Çift Yönlü Uzun Kısa Süreli Bellek (BiLSTM) gibi popüler sinirsel modelleri geride bırakmıştır. Bu araştırma, Türkçe-Rusça için bir sinirsel makine çeviri modelinde Transformer mimarisinin uygulanmasını incelemektedir. Sinirsel model 476 bin Türkçe-Rusça paralel cümle çifti içeren AuroraDataset verisetini kullanılarak eğitilmiştir. Transformer modelimiz, attention mekanizmasına sahip her biri sekiz multi-head ve altı encoder ve altı decoder’den oluşmaktadır. Model, 30 epoch eğitimden sonra 0.4903 BLEU puanı, 0.2915 WER ve 0.3935 CER sonuçlarına ulaşmıştır. Bu sonuçlar transformer mimarisinin Türkçe ile Rusça arasındaki dil farklılıkları ve dilbilgisel karmaşıklıkları göz önüne alındığında, Türkçe'den Rusça'ya çevirideki potansiyelini ortaya koymaktadır. Bu makale, modelin mimarisi ve uygulamasına dair ayrıntılı bir analiz sunmaktadır. Bulgular, sınırlı metin derlemine sahip diller, örneğin Türkçe için Transformer tabanlı MT sistemlerinin anlaşılmasına katkıda bulunmaktadır. | |
| dc.identifier.uri | https://hdl.handle.net/20.500.14619/15076 | |
| dc.language.iso | en | |
| dc.publisher | Karabük Üniversitesi, Lisansüstü Eğitim Enstitüsü | |
| dc.relation.publicationcategory | Tez | |
| dc.rights | info:eu-repo/semantics/openAccess | |
| dc.subject | Nеurаl Mасhіnе Trаnslаtіоn | |
| dc.subject | Transformer | |
| dc.subject | Sеlf-Attеntіоn | |
| dc.subject | a Еncоdеr & Dеcоdеr | |
| dc.subject | Turkish To Russian Machine Translation. | |
| dc.subject | Sinirsel Makine Çevirisi | |
| dc.subject | Self-Attention | |
| dc.subject | ecEncoder & Decoder | |
| dc.subject | Türkçe’den Rusça’ya Makine Çevirisi. | |
| dc.title | Machine translation using transformers for Turkish to Russian | |
| dc.title.alternative | Transformers kullanarak Türkçe’den Rusça’ya makine çevirisi | |
| dc.type | Master Thesis |
