AN ENHANCED CONVOLUTIONAL NEURAL NETWORK FOR DETECTING DEEPFAKE VIDEOS

Abstract

ABSTRACT

Deepfake detection is critical to address the proliferation of manipulated videos that can deceive and spread misinformation. Detecting deepfakes helps ensure the authenticity of visual content, protecting individuals, organizations, and society from potential harm, fraud, and misinformation. It safeguards trust in digital media and maintains the integrity of information in an era where video manipulation is increasingly sophisticated and accessible. Deepfake videos pose a significant threat to the integrity of visual content in the digital age. Detecting these manipulations is essential for safeguarding trust and authenticity. This research aims to enhance deepfake detection through the application of Rationale-Augmented Convolutional Neural Networks (RACNN) with Donald Trump Filter, addressing the urgent need to combat the proliferation of deceptive media and ensure the reliability of visual information. In our RACNN model, datasets play a crucial role in training. We have a total of 99,260 images, divided into two classes, with 70% for training. In addition, there are 1,030 images for validation, which is 10% of the dataset, and 26,914 images for testing and fine-tuning, which is 20%. This setup helps ensure that our model can accurately distinguish between real and fake videos, contributing to the ongoing fight against deceptive digital content. In this thesis, we conducted an evaluation using two datasets: the Deepfake Detection Challenge (DFDC) and the FaceForensics++. The CNN approach remained consistent, resulting in minimal variation in computational cost between the two methods. When we applied the Donald Trump filter to Deepfake videos, we found that low computational cost was essential for making a faster connection based on facial associations. This large dataset has been replicated many times, making it ideal for accurate categorization and segmentation. In addition, the simple implementation of the CNN model allowed for seamless integration with a partitioning technique, resulting in impressive accuracy rates of 94.99% for the DFDC dataset and 93.99% for the FaceForensics++ dataset.

ÖZET

Deepfake tespiti, yanıltıcı ve yanlış bilgileri yayan manipüle edilmiş videoların çoğalmasını engellemek için kritik öneme sahiptir. Deepfake'leri tespit etmek, görsel içeriğin orijinalliğini sağlamaya yardımcı olarak bireyleri, kuruluşları ve toplumu olası zararlardan, sahtekarlıktan ve yanlış bilgilerden korur. Dijital medyaya olan güveni korur ve video manipülasyonunun giderek daha karmaşık ve erişilebilir hale geldiği bir çağda bilginin bütünlüğünü korur. Deepfake videolar, dijital çağda görsel içeriğin bütünlüğüne yönelik önemli bir tehdit oluşturmaktadır. Bu manipülasyonların tespit edilmesi, güvenin ve özgünlüğün korunması açısından önemlidir. Bu araştırma, Donald Trump Filtresi ile Rasyonel-Artırılmış Evrişimli Sinir Ağlarının (Rationale-Augmented Convolutional Neural Network, RACNN) uygulanması yoluyla Deepfake tespitini geliştirmeyi, yanıltıcı medyanın çoğalmasıyla mücadele etme ve görsel bilgilerin güvenilirliğini sağlama konusundaki acil ihtiyacı karşılamayı amaçlamaktadır. RACNN modelimizde, veri kümeleri eğitimde çok önemli bir rol oynamaktadır. Eğitim için %70’i iki sınıfa ayrılmış toplam 99.260 görüntümüz var. Ayrıca, veri kümesinin %10’unu oluşturan doğrulama için 1.030 görüntü ve %20’sini oluşturan test ve ince ayar için 26.914 görüntü bulunmaktadır. Bu kurulum, modelimizin gerçek ve sahte videoları doğru bir şekilde ayırt edebilmesini sağlayarak aldatıcı dijital içeriğe karşı devam eden mücadeleye katkıda bulunur. Bu tezde, iki veri kümesi kullanarak bir değerlendirme yaptık: Deepfake Detection Challenge (DFDC) ve FaceForensics++. CNN yaklaşımı tutarlı kalmış olup iki yöntem arasında hesaplama maliyetinde minimum değişiklikle sonuçlanmıştır. Donald Trump filtresini Deepfake videolarına uyguladığımızda, düşük hesaplama maliyetinin yüz ilişkilendirmelerine dayalı daha hızlı bir bağlantı kurmak için gerekli olduğu görülmüştür. Bu büyük veri kümesi birçok kez çoğaltılmıştır, bu da onu doğru kategorizasyon ve segmentasyon için ideal hale getirmektedir. Buna ek olarak, CNN modelinin basit uygulaması, bir bölümleme tekniğiyle sorunsuz entegrasyon sağlamıştır ve DFDC veri kümesi için %94,99 ve FaceForensics++ veri kümesi için %93,99 gibi etkileyici doğruluk oranlarıyla sonuçlanmıştır.