FFT, sinyaller dersinde sınıfın yarısının sessizce pes ettiği noktaydı. Formül bana da yardım etmedi. Yardım eden şey onunla bir şeyler inşa etmek oldu. Bu yüzden bu yazı, birinin bana zamanında vermesini istediğim versiyon: dönüşüm gerçekte ne yapar ve benim görüntü işlerimde hâlâ nerede ekmeğini çıkarır.
Şekil: sentetik veri üzerinde kendi çizimim.
Görüntü, dalgaların toplamıdır
Her görüntü, 2 boyutlu sinüzoitlerin üst üste binmesiyle birebir yeniden kurulabilir. Yavaş dalgalar pürüzsüz bölgeleri yapar: gökyüzü, duvarlar, odak dışı arka plan. Hızlı dalgalar kenarları, dokuyu ve gürültüyü yapar. Fourier dönüşümü görüntü hakkında yeni bir şey hesaplamaz. Bir koordinat değişimidir: “şu pikselde şu parlaklık” yerine “her dalgadan şu kadar” elde edersin. Hiçbir şey kaybolmaz. İstediğin an geri dönebilirsin.
FFT’nin kendisi ise bu koordinat değişiminin hızlı algoritmasından ibaret. n² ile büyüyen bir hesabı n log n ile büyüyen bir hesaba çevirir. Frekans uzayının pratikte kullanılabilir olmasının tek sebebi bu hız. O olmasaydı bu yazı teoriden ibaret kalırdı.
Filtreleme çarpmaya dönüşür
İçselleştirmeye değer tek teorem şu: piksel uzayında konvolüsyon, frekans uzayında çarpmadır. Bulanıklaştırma, “hızlı dalgaları neredeyse sıfırla çarp” demek. Keskinleştirme bunun tersi. Filtrelere bir kez böyle bakınca klasik görüntü işlemenin büyük kısmı numara çantası olmaktan çıkıp farklı maskeler takmış tek bir fikre dönüşüyor. Piksel uzayındaki o temelleri her hafta kullandığım temel algoritmalar yazısında anlattım; FFT çoğunun altındaki teori zemini.
Burada saklı pratik bir kural da var. Küçük bir çekirdek için, mesela 3×3, düz konvolüsyon kazanır. Çok büyük çekirdekler için FFT üzerinden gitmek kazanır. Rotayı kütüphaneler senin yerine seçiyor, ama nedenini bilmek maliyet hakkında yanlış sezgiler edinmekten korur.
Hata ayıklama aracı olarak spektrum
Gerçek işte frekans uzayını asıl açtığım yer burası: görüntüyü işlemek için değil, görüntüye bakmak için.
Periyodik gürültü, ucuz bir kamera hattındaki elektriksel girişimden gelen tür, genlik spektrumunda parlak izole noktalar olarak görünür. Piksel görünümü sadece belli belirsiz kirli dururken spektrumda iki saniyede fark edersin. Drone üzerindeki titreşim bulanıklığının da imzası var: enerji tek bir yön boyunca çöker. Odağı kaçmış bir lens ise eksik yüksek frekans enerjisi olarak görünür; bu da bir yayına bakıp bir şeylerin ters geldiğini hissettiğin anda spektrumu fena olmayan bir otomatik odak kontrolüne çevirir.
Neredeyse bedavaya hizalama
Birbirine göre kaymış iki kare al, fazlarını korele et; tam kayma miktarında tek ve keskin bir tepe elde edersin. Buna faz korelasyonu deniyor ve yeğinliği atıp sadece fazı tuttuğu için ışık değişimlerine şaşırtıcı derecede dayanıklı. Görüntü çakıştırma ve dikişin arkasındaki emektarlardan biri; biz de SUAS’ta drone karelerini haritaya çevirirken tam olarak bunu önemsedik.
Nerede işe yaramaz
Dürüstlük bölümü. Bizim YOLO dedektörü hiçbir zaman spektrum görmüyor. Derin ağlar kendi filtrelerini kendileri öğreniyor ve elle kurulmuş frekans öznitelikleri oraya giden yol değil.
Ama kavramlar her gün sessizce çalışmaya devam ediyor. Örtüşme yani aliasing bir frekans uzayı fikri ve küçültmeden önce bulanıklaştırmanın sebebi o. JPEG artefaktları bir frekans uzayı fikri. 100 piksellik bir hedefin özensiz bir yeniden boyutlandırmadan sonra neden tespit edilemez hâle geldiği: aynı fikir. FFT’yi nadiren kullanıp sürekli anlamak zorunda olabilirsin. Benim onunla gerçek ilişkim bu.