Bu soru bana işimin iki tarafından da geliyor. Bir tarafta Meta Quest üzerinde, Unity ile savunma eğitim simülasyonları geliştiriyoruz: savunma XR. Diğer tarafta NVIDIA Jetson kartlarında çalışan tespit hatları kuruyorum. O yüzden biri “VR başlıkta görüntü işleme yapılabilir mi” diye sorduğunda, fikrim hazır.
Şekil: kendi çizimim.
Kısa cevap: evet. Uzun cevap şu: başlık zaten çoğu robottan daha fazla görüntü işleme çalıştırıyor ve asıl ilginç soru, bunun ne kadarını senin kodunun kullanabildiği.
Başlık zaten bir görüntü işleme makinesi
Bağımsız bir başlık kendi konumunu inside-out takiple bulur: kabuğun üstünde birkaç kamera, IMU ile birleşen bir SLAM hattı, sürekli çalışır hâlde. Bunun üstüne ellerini kumandasız takip eder, odanın geometrisini kestirir, çarpışma için yüzeyleri yeniden kurar. Bunların hepsi görüntü işleme. Hepsi mobil bir çipsette, pille, cihaz aynı anda iki göz için kare basarken dönüyor.
Yani platform, soruyu var olarak kapatıyor. Görüntü işleme bütçesi gerçek. Sorun, onu kimin harcayabildiği.
Yıllarca uygulaman kameraları göremedi
Engel gizlilikti. Quest’te passthrough bir kompozitör katmanı olarak çiziliyordu: uygulaman kamera görüntüsünün üstüne çizebilirdi ama tek bir pikselini okuyamazdı. “Kullanıcının gördüğü şeyin üstünde dedektörümü çalıştırırım” fikirlerinin hepsi tam orada öldü. Oculus/Meta Quest için geliştirme yazısında anlattıklarımın çoğunu bu kısıt şekillendirdi.
Bu, 2025’te Meta’nın Quest 3 ve Quest 3S için Passthrough Camera API’yi yayınlamasıyla değişti. Artık bir uygulama, telefondaki gibi izin isteyip gerçek kareleri işleyebiliyor. Soru “izin var mı”dan “neyi karşılayabilirsin”e taşındı.
Neyi karşılayabilirsin
Dürüst kıyas şu. Jetson’da kartın tamamını modele veririm. Güç bütçesinin tümünü çıkarım için planlarız, SUAS hava tespit sisteminde yaptığımız gibi. Başlıkta ise modeline artıklar kalır. Render 72 ile 120 Hz arasında koşar ve pazarlık etmez. Takip sürekli çalışır. Çipset, bir insanın yüzüne bağlı kapalı plastik bir kutuda oturur; termal pay incecik.
Sonuçlar, gömülü taraftan bildiğim sonuçların daha sıkısı: küçük modeller, düşük girdi çözünürlükleri, her şeyi kuantala ve her karede çıkarım yapma. TensorRT ve FP16 ile sahaya yazısındaki zihniyet, araç zinciri farklı olsa da doğrudan taşınıyor.
Ben nasıl sahaya çıkarırdım
Üç desen, deneyeceğim sırayla.
Birincisi, platformun bedava verdiğini kullan. El takibi, düzlem tespiti, sahne mesh’i. Meta bunların hesap faturasını çoktan ödedi ve bu çeyrekte eğiteceğinden daha iyiler.
İkincisi, cihaz üstünde küçük bir dedektörü saniyede birkaç kez çalıştır, aradaki boşlukları her karede yeniden tespit etmek yerine hafif bir takipçiyle doldur. Tespit pahalı, eşleştirme ucuz. Her yerde kullandığımız numaranın aynısı.
Üçüncüsü, uygulama gecikmeyi kaldırıyorsa kareleri yakındaki bir bilgisayara gönder, ağır modeli orada çalıştır. Çalışır, ama artık bir kablosuz bağlantının ve üstünde ters gidebilecek her şeyin sahibi sensin.
Bir de herkesin unuttuğu yön var: bazen ilginç sinyal dünya değil, kullanıcıdır. Yüksek lisans tezimde VR’da stresi biyosibernetik bir döngüyle ölçtüm. Passthrough gerekmedi. Başlık içe dönük sensörle dolu ve neredeyse kimse kullanmıyor.
Yani: evet, VR başlıkta görüntü işleme yapılır. Yeter ki bütçeyi, bir yandan da dünya render eden gömülü bir kartmış gibi yap.