Süper Çözünürlük Nedir?
Günlük hayatımızda sosyal medyaya duyulan ilgi bu kadar ilerlemişken, yüklediğimiz görüntülerin daha kaliteli ve net olmasını hepimiz istemişizdir. Bilgisayar ortamında baktığımız görüntünün net olduğunu görürken aynı kalite telefonlarımızda neden olmaz? Çözünürlüğü yüksek, piksel piksel olmayan görüntüleri görmek istemez miyiz?
Peki düşük çözünürlüklü görüntülerimiz için ne yapmalıyız? Hemen bu sorumuza cevap olarak Süper çözünürlük yöntemini söyleyebiliriz.
Bir görüntünün her bir pikseli dört defa tekrarlanarak görüntünün boyutu, dört katına çıkarılırsa çözünürlükte bir kazanç elde edilir mi? Ya da bir görüntü işaretine gürültü eklendiğinde elde edilen görüntünün boyutlarında bir değişim olmayacaktır ama yeni görüntünün çözünürlüğü hala aynı mıdır? Çözünürlük, bir görüntüdeki detayların ayırt edilebilmesi ile ilgilidir.
Çözünürlük geniş bir terimdir ve teknolojinin farklı alanlarında kullanıldığında farklı anlamlara gelebilir. Bilgisayar ve medya endüstrisinde çözünürlük, çoğunlukla ekran çözünürlüğünü ve bir ekran tarafından hem yatay hem de dikey olarak görüntülenebilen resim öğelerinin (piksel veya basit noktalar) sayısını ifade eder.Bu durumda çözünürlük, ekranın yatay (genişlik) ve dikey (yükseklik) olarak kaç piksel üretebileceğini ifade edecektir. Bu önlem aynı zamanda dijital görüntüler için de geçerlidir. Örneğin, 1920 x 1080 çözünürlüğe sahip bir görüntünün toplam 2.073.600 pikseli vardır ve bu genellikle "2 megapiksel" resim olarak adlandırılır.
Görüntü süper çözünürlüğü (SR), düşük çözünürlüklü (LR) görüntülerden yüksek çözünürlüklü (HR) görüntüleri kurtarma işlemidir. Görüntü işlemede kullanılan önemli bir tekniktir. Birçok çeşitli alanda kullanılmaktadır.
SR, düşük çözünürlüklü bir görüntüden daha yüksek çözünürlüklü bir görüntüye geçme sürecidir. Düşük ve yüksek çözünürlüklü görüntüler arasındaki ilişki aşağıdaki formül kullanılarak modellenebilir, burada D bozulma fonksiyonudur, Iy yüksek çözünürlüklü görüntüdür, Ix düşük çözünürlüklü görüntüdür ve σ gürültüdür.
Ix = D(Iy;σ)
Bozunma parametreleri D ve σ genellikle verilmez. yalnızca yüksek çözünürlüklü görüntü ve karşılık gelen düşük çözünürlüklü görüntü sağlanır. Sinir ağının görevi, sadece HR ve LR görüntü verilerini kullanarak bozulmanın ters fonksiyonunu bulmaktır.
Son yıllarda derin öğrenme tekniklerindeki ilerlemeyle birlikte, derin öğrenme tabanlı SR modelleri aktif olarak kullanılmaya başlanmıştır. SR görevlerini çözmek için, erken Evrişimli Sinir Ağları (CNN) tabanlı yöntemden yakın zamanda gelecek vaat eden Üretken Düşman Ağları tabanlı SR yaklaşımlarına kadar çeşitli derin öğrenme yöntemleri uygulanmıştır.
SR çözmek için kullanılan birçok yöntem vardır. Aşağıdaki tablodan yararlanarak yöntemleri ele alacağız:
Figure 2 Giriş görüntüsünü 4x büyütmede kullanılan farklı SR yöntemleri : 1.NN interpolation, 2.Bi-Kübik İnterpolation, 3. SR [11]
Aşağıdaki tabloda yöntemleri dokuz ana başlıkta incelemekteyiz. Model çerçevelerinin yanında, örnekleme yöntemleri de SR yöntemleri olarak kullanılır. Örneğin; enterpolasyona dayalı yöntemlerden ve öğrenme tabanlı yöntemlerden bahsedebiliriz. Gelişen yapılarla beraber derin öğrenme yöntemleri geliştirilmiş ve ağlardaki eksiklikler iyileştirilmiştir.
Pre-Upsampling(Ön örnekleme) süper çözünürlük yöntemleri, üst örneklenmiş bir görüntüyü iyileştirmek için çift kübik enterpolasyon ve derin öğrenme gibi geleneksel teknikleri kullanır.En popüler yöntem olan SRCNN, aynı zamanda derin öğrenmeyi ilk kullanan ve etkileyici sonuçlar elde eden yöntemdir. Çok Derin Süper Çözünürlük (VDSR), yöntemi de ön örnekleme tekniklerindendir.
Post-Upsampling(örnekleme sonrası) SR yöntemleri, daha düşük çözünürlük alanında özellik çıkarma yaparak, ardından yalnızca sonunda üst örnekleme yaparak, hesaplamayı önemli ölçüde azaltmaya çalışır. Ayrıca, üst örnekleme için basit bikübik enterpolasyon kullanmak yerine, ters evrişim/alt piksel evrişim biçiminde öğrenilmiş bir üst örnekleme kullanılır, böylece ağı uçtan uca eğitilebilir hale getirir. FSCNN, ESPCN örnek teknikleridir.
Ağları eğitmek için kullanılabilecek çeşitli kayıp fonksiyonları vardır. Bunlar Piksel Kaybı, Perceptual Kayıp, Texture Kayıp, Adversarial Kayıp gibi örnekler verilebilir.Piksel Kaybı süper çözünürlüklü ağların eğitiminde kullanılan en basit ve yaygın kayıp işlevidir.Perceptual Kayıp, oluşturulan bir görüntüdeki üst düzey özellikleri belirli bir HR çıktı görüntüsüyle eşleştirmeye çalışır. Texture Kaybı, özellik çıktılarının Gram matrisini optimize etmeye çalışır. Bu kayıp işlevi, sinir ağını HR görüntüsündeki doku bilgisini yakalaması için eğitir. Adversarial Kayıp GAN ile ilgili tüm mimarilerde kullanılan rakip kayıp, genellikle daha iyi algı kalitesine sahip görüntüler üretir.
Yapay zekanın en önemli yapıtaşı veridir. Süper çözünürlüklü ağları eğitmek için de verilere ihtiyaç duyarız. Kullanılan yaygın veri kümelerinden bazıları: Set5, Set14 ,DIV2K ve Manga109 veri kümeleridir. Projelerinize başlarken kullanabileceğiniz açık veri setleridir.
Bu bölümde, modellerin performansını karşılaştırmak için kullanılan metriklerden bahsedeceğiz. Modellerin performansını ölçmek için en yaygın kullanılan metrikler; PSNR(Pik Sinyal Gürültü Oranı), SSIM(structural similarity index measure) ve MOS(Ortalama Görüş Puanı) dur. PSNR sonuçların kalitesini belirlemek için kullanılan en yaygın tekniktir. SSIM iki görüntünün algısal kalitesini ortalama ile karşılaştırmak için kullanılır. MOS insanlardan 0 ile 5 arasında bir görüntüyü derecelendirmelerinin istendiği bir modelin sonuçlarını belirlemenin manuel bir yoludur.
