A HYBRID DEEP LEARNING ARCHITECTURE FOR VIDEO-BASED AUTOMATIC VEHICLE DETECTION

Abstract

ABSTRACT

Detecting vehicles in Intelligent Transportation Systems (ITS) is important to maintaining road safety, monitoring vehicle flow, identifying illegal vehicle types, detecting incidents, and estimating vehicle speeds. Despite the increasing prevalence of scholarly inquiry, the issue at hand continues to be a formidable obstacle that needs resolution. Proposed hardware-based alternatives, such as Radars and LIDAR (Light Detection and Ranging) remote sensing, have been deemed impractical due to their high cost of maintenance and limited provision of relevant information to human operators in Surveillance systems.

To effectively monitor transportation systems, it is imperative to implement two crucial measures for surveillance: vehicle detection and license plate recognition. The current methodologies for vehicle detection utilize feed-forward convolutional neural networks (CNNs) as backbone architectures. However, these are scale-sensitive and cannot handle variations in vehicles' scales in sequential video frames.

To address these issues of vehicle detection in road surveillance, such as variations in illumination, vehicle scale variations, and occlusions. we introduce the Scale Invariant Hybrid Convolutional Neural Network (SIH-CNN) in conjunction with YOLO (You only look once) for real-time vehicle detection. The SIH-CNN is meticulously crafted to be resilient against size variations and adept at accommodating vehicles of varied sizes within sequential video frames, ensuring consistent performance regardless of the vehicle’s position relative to the camera. By leveraging YOLO's rapid and accurate object detection capabilities, our hybrid model excels in identifying and classifying vehicles of all shapes and sizes across a diverse range of scenarios, setting a new benchmark in adaptability and efficiency for vehicle detection systems in practical applications.

Results show that the proposed SIH-CNN model achieved a mean average precision (mAP) of 77.76% on the UA-DETRAC benchmark, which is 3.94% higher than the baseline detector with real-time performance of 48.4 frames per seconds.

ÖZET

Akıllı Ulaşım Sistemlerinde (ITS) araçların tespiti yol güvenliğinin sağlanmasında hayati öneme sahiptir. Araç akışının izlenmesi suça karışan araçların belirlenmesi, tehlike oluşturan olayların tespit edilmesi ve araç hızlarının tahmin edilmesi için kullanılmaktadır. Her ne kadar araç akışlarının izlenmesi ile ilgili çalışmalar olmasına rağmen gerçek zamanlı ve data etkin tespit yapan sistemlere ihtiyaç duyulmaktadır. Diğer taraftan pratikte kullanılmakta olan Radar ve LIDAR gibi donanım tabanlı sistemler yüksek bakım maliyeti ve uzman personele ihtiyaç gerektirmektedir.

Ulaşım sistemlerini etkili bir şekilde izlemek için araç tespiti ve plaka tanıma sistemlerinin beraber çalışması gerekir. Araç tespiti için uygulanan metodolojiler, ağırlıklı temel mimari çerçeve olarak ileri beslemeli evrişimli sinir ağlarını (CNN) kullanır. Ancak, bu yöntemler ölçek değişikliklerine duyarlı olduğu ve çeşitli boyutlardaki araçları birden fazla video karesi içinde etkili bir şekilde gösterme sorunları yaşamaktadır. Bu tezde, gerçek zamanlı araç algılama sorunlarına çözüm olarak YOLO (You Only Look Once) (Yanlızca bir kere bakar) tabanlı SIH-CNN (Scale Invariant Hybrid Convolutional Neural Network Convolutional Neural Network) (Ölçek Değişmez Hibrit Evrişimli Sinir Ağı) altyapısını kullanan hibrit bir tespit sistemi önerilmiştir. SIH-CNN boyut değişikliklerine karşı hassastır. Ayrıca sıralı video karelerinde farklı boyutlardaki araçların görüntülerini daha iyi alır ve aracın kameraya göre konumundan bağımsız olarak tutarlı sonuçlar üretir. YOLO ve SIH-CNN’nin hızlı ve doğru nesne algılama özellikleri kullanan hibrit model, çeşitli senaryolarda tüm şekil ve boyutlardaki araçları tanımlama ve sınıflandırma konusunda üstünlük sağlamıştır.

Bu tezde önerilen SIH-CNN modeli kamuya açık UA-DETRAC kıyaslama ölçütü kullanılarak değerlendirilmiştir. Deney sonuçları, sunulan SIH-CNN modelinin UA-DETRAC kıyaslama veri kümesi üzerinde değerlendirildiğinde %77,76'lık bir ortalama hassasiyet (mAP) elde ettiğini göstermektedir. Performans ölçütü, temel dedektöre göre %3,94'lük bir üstünlük sergilemektedir.