An autonomous heterogeneous multi-robot system design for early fire detection

Abstract

The usage of autonomous multi-robot systems for human life-endangering applications is emerging. Early wildfire detection and firefighting are two example applications. In this study, a heterogenous multi-robot system is proposed for both fire detection and response. The system employs an unmanned aerial vehicle for beyond-visual line-of-sight observations and an unmanned ground robot for fire extinguisher carrying. The proposed method uses ultrawideband (UWB) communication and ranging modules for the relative localization of robots during their movements. A specially trained YOLOv7 object detection model is used for robustly detecting forest fires and smoke while a modified version of the Vector Field Histogram Plus (VFH+) algorithm on the ground robot is used for obstacle avoidance while navigating. The structural design of the system requires no odometry or mapping of the environment hence improving the applicability of the system while decreasing system complexity. Additionally, the proposed UWB localization system is shown to be robust in long-lasting operations unlike many odometry-based approaches which accumulate errors with time. Moreover, localization of the UAV is realized with only three independent UWB-based range measurements and the altitude information of the UAV. The system is tested both in a realistic simulation environment and in real experimental setups with multiple runs. Results showed that the proposed system is improvable for better detection and practical to implement even in a dense forest environment without the need for GPS sensors, odometer data, or magnetometer.

İnsan sağlığını ya da güvenliğini tehlikeye atan durumlarda otonom mobil robotların kullanımı giderek artmaktadır. Erken orman yangını tespiti ve mücadelesi buna örnek verilebilecek eylemlerdendir. Bu çalışmada, bu iki uygulamada kullanılmak üzere heterojen, çoklu robot sistemi geliştirilmiştir. Sistem görüş alanı dışındaki nesnelerin tespiti için bir insansız hava aracını ve yangın söndürücü malzemelerin olay yerine taşınması için bir yer aracını kullanır. Önerilen yöntem robotların hareketleri esnasında görece lokalizasyonları için ultra geniş bant (UGB) iletişim ve mesafe ölçme modülü kullanır. Bu amaçla, insansız hava aracı yeni nesil bilgisayarlı görme ve nesne tespiti algoritması olan YOLOv7'yi kullanırken insansız kara aracı engellere çarpmamak ve yolunu bulmak için modifiye edilmiş Vektör Alan Histogramı (VFH+) algoritmasını kullanır. Sistemin yapısal tasarımı, odometri sistemlerine ve haritalama işlemlerine ihtiyaç duymayarak sistem karmaşıklığını azaltarak uygulanabilirliğini artırmaktadır. Bunun yanında, zamanla hatayı biriktiren odometri-tabanlı yaklaşımların aksine, önerilen UGB tabanlı yöntemin uzun süreli operasyonlarda gürbüz olduğu gösterilmiştir. Ayrıca, yalnızca üç UGB tabanlı mesafe ölçümü ve hava aracı irtifa bilgilerini kullanarak lokalizasyon işlemleri hesaplanmıştır. Tasarlanan sistem hem gerçekçi simülasyonlar üzerinde hem de gerçek deney sistemi üzerinde test edilmiştir. Sonuçlar, sistemin GPS, odometri veya manyetometre kullanmadan, nesne tespit algoritmalarını ve engel tespit sensörlerini günlük uygulamalar için daha da geliştirilerek gerçek hayatta uygulanabileceğini göstermiştir.