A COMPUTATION OFFLOADING FOR IOT OF EDGE COMPUTING: A REINFORCEMENT LEARNING APPROACH BASED ON DDPG

Abstract

ABSTRACT

The continuous proliferation and diversification of Internet of Things (IoT) devices have led to the emergence of computationally intensive and time-sensitive applications, including but not limited to object detection, smart homes, and smart grids. To address the computational limitations of IoT devices, the edge computing paradigm offers a solution by offloading resource-intensive tasks from IoT devices to more powerful edge nodes. Despite this, the edge computing architecture may introduce high latency, which proves unsuitable for IoT devices with constrained computing and storage capacities. Efforts have been made to enhance this scenario by deploying edge devices in proximity to IoT devices, providing low-latency computing resources. However, challenges persist, particularly when the edge server is inundated with offloading requests, potentially leading to incomplete task processing within the required timeframe.

This paper seeks to minimize the average task completion time in an IoT edge-computing environment by optimizing the task offloading ratio from IoT devices to the edge. This optimization is achieved through the utilization of Deep Deterministic Policy Gradient (DDPG), a form of Reinforcement Learning (RL) approach. Our approach involves implementing a dynamic task offloading decision mechanism on the edge, capable of determining the appropriate computational resources and resource allocation needed to complete a task. Additionally, we enhance the load-balancing process, ensuring fair distribution of resources among tasks, thereby reducing processing time and, consequently, response time. The results of our study illustrate that our dynamic task offloading decision mechanism significantly improves the overall completion time of tasks compared to conventional approaches.

ÖZET

Nesne algılama, akıllı evler ve akıllı şebekeler gibi hesaplama açısından yoğun ve gecikmeye duyarlı uygulamalar, Nesnelerin İnterneti (IoT) cihazlarının üstel büyümesi ve çeşitliliği ile sürekli olarak ortaya çıkmaktadır. Hesaplama ağırlıklı görevleri IoT cihazlarından uç düğümlere aktarmak için uç bilişim paradigmasını uyarlayabiliriz, bu da IoT cihazlarının sınırlamasını daha güçlü kaynaklarla aşabilir. Bununla birlikte, uç bilişim mimarisi, sınırlı bilgi işlem ve depolama yeteneklerine sahip IoT cihazları için uygun olmayan yüksek gecikmeye neden olabilir. Uç bilişim, IoT cihazlarına düşük gecikmeyle bilgi işlem kaynakları sağlayabilen IoT cihazlarının yakınında bir uç cihaz dağıtarak bu durumu iyileştirmek için sunulmuştur. Bununla birlikte, uç sunucu, talepler yoğun şekilde geldiğinde cihazlardan yüklenen tüm görevleri gereken sürede tamamlayamayabilir. Bu makalede, bir tür Takviyeli Öğrenme (RL) yaklaşımı olan Derin Belirleyici Politika Gradyanı'na (DDPG) dayalı olarak IOT cihazlarından uca görev boşaltma oranını optimize ederek bir IoT uç bilişim ortamında görevlerin ortalama tamamlanma süresini en aza indirmeyi amaçlıyoruz. Bir görevi tamamlamak için birden fazla faktörü göz önünde bulundurarak işlenecek hesaplama kaynaklarının miktarını ve kaynak tahsisini belirleyebilen, uçta konuşlandırılmış dinamik bir görev boşaltma karar mekanizması öneriyoruz. Ayrıca, bu çalışmada, yük dengeleme sürecini iyileştiriyor ve kaynakları görevlere adil bir şekilde dağıtıyoruz; bu da işlem süresini ve dolayısıyla yanıt süresini azaltacaktır. Sonuçlar, dinamik görev boşaltma karar mekanizmamızın görevlerin genel tamamlanma süresini naif yaklaşımlara göre iyileştirebileceğini göstermektedir.