Engellerden kaçınan ve çoklu hedef takib sistemi gerçekleştirebilen akıllı sürü iha navigasyonu

Abstract

Gelişen teknolojiyle birlikte insansız hava araçlarının (İHA) hem askeri hem de sivil alanlarda kullanımı giderek artmaktadır. Özellikle İHA sürüleri, hızlı karar verme ve koordineli hareket etmenin kritik olduğu acil durumlarda etkili bir çözüm sunmaktadır. Araştırmalar, İHA sürülerinin otonom ve koordineli davranışlarını geliştirerek topluma acil durumlarda yardım sağlayacak faydalı bir araç olarak hizmet etmesine odaklanmıştır. Sürü zekâsı, birçok varlığın etkileşimini ve kendiliğinden düzenlenmesini taklit eden bir yapay zekâ dalıdır ve optimizasyon, mühendislik ile çoklu İHA iş birliğinde önemli bir rol oynamaktadır. Sürü zekâsı algoritmaları, çoklu İHA'nın görev atama, rota planlama, çarpışmadan kaçınma ve formasyon yeniden yapılandırma gibi kritik görevlerde önemli bir akademik ve pratik yarar sunmaktadır. İHA sürü navigasyonunu optimize etmek için derin pekiştirmeli öğrenme (DRL) teknolojisinin kullanımı önem kazanmaktadır. DRL, İHA'ların çevreleriyle sürekli etkileşimde bulunarak en iyi navigasyon tekniklerini edinmesini sağlar ve grup hedeflerine ulaşmak için iş birliği yapmalarına olanak tanır. Çoklu etmen derin pekiştirmeli öğrenme (MADRL) modeli, çoklu İHA kontrolü, çok oyunculu oyunlar ve çok robotlu kontrol senaryoları gibi çeşitli uygulama alanlarında kullanılabilir. Bu araştırma, bilinmeyen ortamlarda gerçek zamanlı çarpışmadan kaçınma ve çoklu hedef takibi yapabilen merkezi olmayan bir akıllı İHA sürü navigasyon sistemi geliştirmektedir. Bu sistemin temelini, bireysel ve kolektif sürü davranışlarını karşılıklı ödül mekanizması ile optimize eden Çoklu Etmen Aktör-Kritik ve Karşılıklı (MAAC-R) algoritması oluşturması gelişmektedir. Bu yaklaşım, İHA'ların komşu etmenler üzerindeki etkilerini dikkate alarak stratejilerini dinamik bir şekilde ayarlamalarını sağlar. Bu da küresel bilgiye ihtiyaç duymadan daha iyi bir koordinasyon sağlanmasına yardımcı olur; bu da dinamik ve öngörülemeyen ortamlarda kritik bir özelliktir. MSE tabanlı optimizasyon ile entegre edildiğinde, MAAC-R, MAAC-G ve basit MAAC gibi diğer yöntemleri geride bırakarak daha fazla esneklik, ölçeklenebilirlik veuyarlanabilirlik sunar. Bu özellikler, karmaşık senaryolar, örneğin afet müdahale ve arama-kurtarma operasyonları gibi durumlar için özellikle uygundur. Sistem, ayrıca İHA'ların engelleri gerçek zamanlı olarak tespit edip uçuş rotalarını ayarlamalarına olanak tanıyan gelişmiş LIDAR tabanlı çarpışmadan kaçınma yeteneğine sahiptir. Tüm bu yenilikler, MAAC-R(MSE)'yi zorlu ve engel dolu ortamlarda etkili çoklu hedef takibi ve güvenli operasyon gerektiren görevler için kapsamlı ve güçlü bir çözüm haline getirmektedir.

With the advancement of technology, the use of unmanned aerial vehicles (UAVs) is increasing in both military and civilian sectors. Particularly, UAV swarms offer an effective solution in emergencies where rapid decision-making and coordinated action are critical. Research efforts have focused on enhancing the autonomous and coordinated behaviours of UAV swarms to serve as a beneficial tool for assisting society in emergency situations. Swarm intelligence, a branch of artificial intelligence, simulates the interactions and self-organization of multiple entities, playing a significant role in optimization, engineering, and multi-UAV collaboration. Swarm intelligence algorithms provide substantial academic and practical benefits in critical tasks such as task assignment, route planning, collision avoidance, and formation reconfiguration for multi-UAV missions. The use of deep reinforcement learning (DRL) technology is becoming increasingly important for optimizing UAV swarm navigation. DRL enables UAVs to continuously interact with their environments to acquire the best navigation techniques, allowing them to collaborate to achieve group objectives. The multi-agent deep reinforcement learning (MADRL) model can be applied to various scenarios, including multi-UAV control, multiplayer games, and multirobot control. This research develops a decentralized intelligent UAV swarm navigation system capable of real-time collision avoidance and multi-target tracking in unknown environments. At the core of this system is the Multi-Agent Actor-Critic with Reciprocity (MAAC-R) algorithm, which optimizes both individual and collective swarm behaviour through a reciprocal reward mechanism. This approach allows UAVs to dynamically adjust their strategies based on their impact on neighbouring agents, promoting better coordination without the need for global information, which is a crucial feature in dynamic and unpredictable environments. When integrated with MSE-based optimization, MAAC-R outperforms other methods such as MAAC-G and simple MAAC, offering greater flexibility, scalability, and adaptability. These characteristics make it particularly suitable for complex scenarios, such as disaster response and search-and-rescue operations. Additionally, the system incorporates advanced LIDAR-based collision avoidance capabilities, enabling UAVs to detect obstacles in real-time and adjust their flight paths accordingly. All these innovations position MAAC-R(MSE) as a comprehensive and powerful solution for tasks requiring efficient multi-target tracking and safe operation in challenging, obstacle-filled environments.