Nighttime fire detection from video

Abstract

With the recent advancements in the field of Computer Vision, the central tasks such as object detection, segmentation or object tracking methods attain all-time high accuracies in natural image sets such as ImageNet, COCO, etc. However, due to the innate downsides of digital images acquired in insufficiently illuminated environments, the conventional methods suffer severely. This specific problem remains unsolved. Especially if the environment is pitch dark and the object of interest is emitting light, the dynamic range of the current digital cameras falls short in this situation and the generated digital image contains almost no perceptible visual texture. One prominent example of this is nighttime forest fire videos. In this thesis, detection of nighttime forest fires from video is addressed as an application of the challenging task, scene perception in low light conditions. The first contribution of this dissertation is developing a novel object tracking algorithm for glowing object in the dark environments. The algorithm allows to track fire and nonfire objects throughout the video. The second contribution of the thesis is proposal of new handcrafted features which are designed to capture spatio-temporal behavior of the glowing objects since there is little or no visual textures to be processed. The results showed that the features are descriptive enough to distinguish fire from the other deceptive light sources. The third contribution is employing deep learning models to automatically extract spatial features with CNNs, and temporal features from bidirectional Long Short-Term Memory (BLSTM) networks. The empirical test results show that a CNN + BLSTM pipeline can effectively detect fires at night with a high accuracy. Finally, a new comprehensive nighttime fire video dataset comprising 1358 positive videos and 334535 of fire frames is created.

Bilgisayarlı Görü alanındaki son ilerlemeler, ImageNet, COCO, vb. doğal görüntü veri setleri üzerinde nesne tespiti, bölütlendirme, nesne takibi gibi merkezi işlemlerde tüm zamanların en yüksek doğruluklarına ulaşmaktadır. Fakat yetersiz ışığa sahip ortamlardan elde edilmiş dijital görüntüler üzerinde özünde var olan dezavantajlardan geleneksel yöntemler ciddi bir şekilde zorluk yaşamaktadır. Bu belirli problem henüz çözülememiştir. Özellikle ortam zifiri karanlık ve hedef nesne ışık yayıyorsa günümüz dijital kameraların dinamik menzili bu duruma yetersiz kalmakta ve elde edilmiş dijital görüntüler neredeyse hiç algılanabilir görsel doku taşımamaktadır. Buna önemli bir örnek, gece yangını videolarıdır. Bu tezde, düşük ışık şartlarında sahne algısı zorlu probleminin bir uygulaması olarak videolardan gece orman yangını tespiti sorunu üzerine gidilmiştir. Bu tezin ilk katkısı, karanlık ortamlarda parlayan nesnelerin takibini sağlayan bir algoritmanın geliştirilmesidir. Algoritma, yangın ve yangın olmayan nesnelerin video boyunca takibini sağlamaktadır. Tezin ikinci katkısı ise elle oluşturulmuş yeni öznitelikler ile işlenecek görsel doku neredeyse hiç olmadığından parıldayan nesnelerin zamansal ve uzamsal davranışını yakalanmasıdır. Sonuçlar göstermiştir ki bu öznitelikler yangını sahnedeki diğer çeldirici ışık kaynaklarından ayırt etmede yeterince betimleyicidir. Üçüncü katkı ise karanlık videolardan otomatik uzamsal öznitelik çıkarmak için CNN’ler, zamansal davranışı yakalayabilmek için de iki yönlü uzun kısa süreli bellek (BLSTM) kullanılmasıdır. Ampirik deney sonuçları göstermiştir ki CNN+BLSTM düzeneği gece yangınlarını etkin bir şekilde ve yüksek doğrulukta tespit edebilmektedir. Son olarak, 1358 pozitif video ve 334535 alev çerçevesinden oluşan kapsamlı bir gece orman yangını veri seti derlenmiş ve kullanışlı hale getirilmiştir.