Coordinated target detection and tracking by drones using distance and vision

Abstract

Robot autonomy refers to the ability to carry out objectives by perceiving the environment and deciding on the actions required without human interruption. Although autonomous aerial robots offer big advantages in our daily life, online localization and control remain the biggest challenge lying ahead of aerial robot implementations. For single robot applications, GPS, and motion capture (mocap) systems can be utilized for outdoor and indoor applications, respectively. However, when it comes to multi-robot systems, the relative localization problem needs to be solved beyond the single robot localization problem. Furthermore, GPS signals are not available everywhere, and mocap systems limit the application space of multi-robot systems. Motivated by the industrial application scenarios, we address the relative localization and docking problem in multi-drone systems where drones do not utilize any external infrastructure for localization. We consider a two-drone system that aims at docking a target object which consists of an ultrawideband (UWB) distance sensor. The drones are equipped with UWB sensors and cameras and try to localize the target object and dock around it in a pre-defined configuration in the absence of GPS and magnetometer sensors and external infrastructures. We design an extended Kalman filter based on the dynamic model of the drone-target configuration that fuses the distance and vision sensor outputs. Particularly, we use the YOLO algorithm for the bearing detection between the drones and the target. Next, we devise and implement a switching-based distributed formation control algorithm and integrate it into the estimation algorithm. We demonstrate the performance of our algorithm in several simulation studies in a realistic Gazebo environment. Finally, we provide primary experimental results and a roadmap to the full implementation of the system.

Robot otonomisi, çevreyi algılayarak hedefleri gerçekleştirme ve insan müdahalesi olmadan gerekli eylemlere karar verme yeteneğini ifade eder. Otonom hava robotları günlük hayatımızda büyük avantajlar sunsa da çevrimiçi yer tespiti ve kontrol, hava robotu uygulamalarının önündeki en büyük zorluk olmaya devam etmektedir. Tek robot uygulamaları için, GPS ve hareket yakalama (mocap) sistemleri, sırasıyla dış mekân ve iç mekân uygulamaları için kullanılabilir. Ancak çok robotlu sistemler söz konusu olduğunda, göreli lokalizasyon probleminin tek robot lokalizasyon probleminin ötesinde çözülmesi gerekmektedir. Ayrıca, GPS sinyalleri her yerde mevcut değildir ve mocap sistemleri, çoklu robot sistemlerinin uygulama alanını sınırlar. Endüstriyel uygulama senaryolarından motive alarak, drone'ların yerelleştirme için herhangi bir harici altyapı kullanmadığı çoklu drone sistemlerinde göreceli lokalizasyon ve yerleştirme problemini ele alıyoruz. Ultra geniş bant (UWB) mesafe sensöründen oluşan bir hedef nesneye kenetlemeyi amaçlayan iki dronlu bir sistem düşünüyoruz. İHA'lar UWB sensörleri ve kameraları ile donatılmış olup, GPS, manyetometre sensörleri ve harici altyapıların yokluğunda hedef nesneyi lokalize etmeye ve önceden tanımlanmış bir konfigürasyonda etrafına kenetlenmeye çalışırlar. Mesafe ve görüş sensörü sonuçlarını birleştiren dronehedef konfigürasyonunun dinamik modeline dayalı genişletilmiş bir Kalman filtresi tasarlıyoruz. Özellikle insansız hava araçları ile hedef arasındaki açı tespiti için YOLO algoritmasını kullanıyoruz. Ardından, anahtarlama tabanlı bir dağıtılmış formasyon kontrol algoritması tasarlayıp uyguluyor ve bunu tahmin algoritmasına entegre ediyoruz. Algoritmamızın performansını gerçekçi bir Gazebo ortamında çeşitli simülasyon çalışmaları üzerinde gösteriyoruz. Son olarak, sistemin tam olarak uygulanması için birincil deneysel sonuçlar ve bir yol haritası sunuyoruz.