İlk zamanlar eğittiğim her dedektör görünür ışığı varsayıyordu. Savunma tarafında tespit ve takibi hem görünür hem termal kanalda çalıştırıyoruz ve bir termal kamerayı ilk kez bir sahneye doğrulttuğunda, sezgi sandığın şeylerin ne kadarının aslında ışık varsayımı olduğunu görüyorsun. Bu yazı, yeniden öğrenmek zorunda kaldıklarımın listesi.
Şekil: sentetik veri üzerinde kendi çizimim.
Artık ışığı görmüyorsun
Uzun dalga kızılötesi kamera, yayılan ışımayı ölçer. Mutlak sıfırın üstündeki her şey o bantta parlar; yani sensör yansıyan ışığı değil, sıcaklık kontrastını raporlar. Sonuçları hemen hissedersin. Gece normal bir çalışma koşuludur. Farlar sensörü kör etmez. Görsel anlamda gölge diye bir şey yoktur.
Sürprizler ters yönde de çalışır. Cam bir duvardır: kamera pencereyi görür, içerisini değil. Parlak metalin yayıcılığı düşüktür; sıcaklık aynası gibi davranır ve sana kendini değil, yansıttığı gökyüzünü gösterir. Termal kareyi okumayı yeni bir dil öğrenir gibi öğrenirsin ve eski dil sürekli araya girer.
Kontrast doku değil, sıcaklıktır
Görünür görüntüde hedefin dokusu, rengi, işaretleri, kenarları vardır. Termalde ise arka planına karşı bir sıcaklık farkı vardır ve neredeyse tek taşıdığı budur. Gece serin zeminde bir insan parlak bir siluettir: kolay. Aynı insan öğlen güneşte ısınmış asfaltta neredeyse kaybolabilir ya da polaritesi tamamen tersine dönebilir.
Bir de geçiş anı var: günde iki kez, şafak ve alacakaranlık civarında hedefle arka planın sıcaklıkları birbirinin içinden geçer ve kontrast bir süreliğine çöker. Operasyonun zamanını seçebiliyorsa bu, sonradan bahaneye değil plana yazılır.
RGB eğitim alışkanlıkların bozulur
İlk kurban renk augmentasyonu. Fiilen tek kanallı bir ısı haritasına HSV oynatması uygulamak bir şey katmaz, zarar bile verebilir. Geometrik augmentation hâlâ işini yapar; fotometrik tarafı sıfırdan düşünmek gerekir.
Onun yerine termale özgü iki şeyle uğraşırsın. Birincisi polarite: kameralar white-hot ve black-hot modları sunar ve birinde eğitilen model sahada diğeriyle karşılaşır. Ya polariteyi normalize et ya da ikisini de augmentation olarak besle. İkincisi otomatik kazanç kontrolü: kamera ham radyometrik veriyi kare kare 8-bit çıktıya yeniden eşler; aynı sahne saniyeler arayla farklı kontrastla çizilebilir. Hangi gösterimle eğitiyorsan aynısıyla sahaya çık. Bu, veri seti işinin hep öğrettiği ders; veri seti kararları yazısında da yazdım: modelden önceki boru hattı, modelden çok şey belirler.
RGB üzerinde ön eğitilmiş omurgalar yine de bir miktar yardım eder, çünkü kenar kenardır. Ama beklediğinden fazla ince ayara ve kendi termal verini toplamaya bütçe ayır; açık termal veri setleri RGB’ye göre kıt.
İki kanal tek kanaldan iyidir
Kanallar farklı şekillerde başarısız olur ve mesele tam da bu. Görünür kanal doku ve kimlik verir ama gece ölür. Termal her ışıkta varlık verir ama bir işareti okuyamaz. Pratikte hedefi çoğu zaman termal bulur, ne olduğunu görünür kanal doğrular.
Akışın devamında hiçbir şey değişmez: dedektör yine tensör yer, yani NMS ve güven eşiği olduğu gibi geçerlidir ve Jetson üzerinde TensorRT ile sahaya çıkış yolu, görünür kanalda kullandığımızla aynıdır. Fizik sensörde değişiyor. Sonrasındaki mühendislik, neyse ki, değişmiyor.