SR (Super həll) nədir?
Gündəlik həyatımızda sosial mediaya maraq bu qədər artsa da, hamımız yüklədiyimiz şəkillərin daha keyfiyyətli və daha aydın olmasını istəyirik. Kompüterdə baxdığımız görüntünün aydın olduğunu gördüyümüz halda, telefonlarımızda niyə eyni keyfiyyətə malik deyil? Biz piksel-piksel yox, yüksək keyfiyyətə malik şəkilləri görmək istəmirikmi?
Beləliklə, aşağı keyfiyyətli şəkillərimizlə nə etməliyik? Bu suala cavab olaraq dərhal SR metodunu deyə bilərik.
SR Nədir?
Şəklin hər pikselini dörd dəfə təkrarlamaqla şəklin ölçüsü dörd dəfə artırılsa, həllində qazanc varmı? Və ya şəkil siqnalına səs-küy əlavə edildikdə, nəticədə yaranan təsvirin ölçüsündə heç bir dəyişiklik olmayacaq, lakin yeni təsvirin həlli hələ də eynidirmi? SR təsvirdəki detalları ayırd etmək qabiliyyəti ilə bağlıdır.
SR geniş bir termindir və texnologiyanın müxtəlif sahələrində istifadə edildikdə fərqli mənaları ifadə edə bilər. Kompüter və media sənayesində həll ən çox ekran həllinə və ekran tərəfindən həm üfüqi, həm də şaquli olaraq göstərilə bilən şəkil elementlərinin (piksellər və ya sadə nöqtələr) sayına aiddir. Bu vəziyyətdə həll, üfüqi (en) və şaquli (hündürlükdə) istehsal edə bilər. Bu ehtiyat tədbiri rəqəmsal şəkillərə də aiddir. Məsələn, 1920 x 1080 təsvir ölçüsündə cəmi 2.073.600 piksel var və bu, tez-tez "2 meqapiksel" təsvir kimi adlandırılır.
Image Super Resolution (SR)
Image super resolution (SR) Low (aşağı) resolution (LR) şəkillərdən High (yüksək) resolution (HR) şəkillərin bərpası prosesidir. Şəkil emalında istifadə olunan vacib bir texnikadır. Bir çox müxtəlif sahələrdə istifadə olunur.
tibbi görüntüləmə
peyk təsviri,
nəzarət və təhlükəsizlik,
astronomik görüntüləmə,
hərbi görüntü,
SR LR təsvirindən daha HR təsvirinə keçmə prosesidir. LR və HR təsvirləri arasındakı əlaqəni aşağıdakı düsturdan istifadə etməklə modelləşdirmək olar, burada D təhrif funksiyası, Iy yüksək ayırdetmə təsviri, Ix aşağı ayırdetmə təsviri və σ səs-küydür.
Ix = D(Iy;σ)
D və σ çürümə parametrləri adətən verilmir. Yalnız yüksək ayırdetmə təsviri və müvafiq aşağı ayırdetmə təsviri verilir. Neyron şəbəkənin vəzifəsi yalnız HR və LR təsvir məlumatlarından istifadə edərək təhrifin tərs funksiyasını tapmaqdır.
Son illərdə dərin öyrənmə texnikalarında irəliləyişlə dərin öyrənməyə əsaslanan SR modelləri fəal şəkildə istifadə edilməyə başlandı. SR tapşırıqlarını həll etmək üçün ilkin Konvolutional Neyron Şəbəkələrinə (CNN) əsaslanan metoddan tutmuş son perspektivli Generativ Düşmən Şəbəkələrinə əsaslanan SR yanaşmalarına qədər müxtəlif dərin öyrənmə üsulları tətbiq edilmişdir.
SR Metodları və Texnikaları
SR-nin həlli üçün istifadə olunan bir çox üsul var. Aşağıdakı cədvəldən istifadə edərək üsulları müzakirə edəcəyik:
Aşağıdakı cədvəldə metodları doqquz əsas başlıq altında nəzərdən keçiririk. Model çərçivələri ilə yanaşı, SR metodları kimi seçmə üsullarından da istifadə olunur. Məsələn; İnterpolyasiyaya əsaslanan metodlardan və öyrənmə əsaslı metodlardan danışa bilərik. İnkişaf edən strukturlarla dərin öyrənmə üsulları hazırlanmış və şəbəkələrdəki çatışmazlıqlar yaxşılaşdırılmışdır.
Pre-Upsampling super rezolyusiya üsulları yuxarı nümunəli təsviri təkmilləşdirmək üçün iki kubik interpolyasiya və dərin öyrənmə kimi ənənəvi üsullardan istifadə edir. Çox Dərin Super Resolution (VDSR) metodu da ilkin seçmə üsullarından biridir.
Post-Upsampling SR metodları daha aşağı rezolyusiyaya malik domendə xüsusiyyət çıxarılmasını həyata keçirərək hesablamanı əhəmiyyətli dərəcədə azaltmağa çalışır, sonra isə yalnız sonunda yuxarı nümunə götürür. Əlavə olaraq, nümunə götürmə üçün sadə iki kubik interpolyasiyadan istifadə etmək əvəzinə, dekonvolyutsiya/subpiksel konvolyusiya şəklində öyrənilmiş yuxarı nümunə istifadə olunur, beləliklə, şəbəkəni uçdan-uca öyrədilə bilən hala gətirir. FSCNN, ESPCN nümunə üsullardır.
SR itkisi funksiyaları
Şəbəkələri öyrətmək üçün istifadə edilə bilən müxtəlif itki funksiyaları var. Bunlara Pixel Loss, Perceptual Loss, Texture Loss, Adversarial Loss kimi nümunələr verilə bilər.
Piksel itkisi super rezolyusiyaya malik şəbəkələrin təlimində istifadə edilən ən sadə və ən çox yayılmış itki funksiyasıdır.
Perceptual Loss, göstərilən təsvirdəki yüksək səviyyəli xüsusiyyətləri müəyyən bir HR çıxış şəklinə uyğunlaşdırmağa çalışır.
Texture Loss funksiya çıxışlarının Qram matrisini optimallaşdırmağa çalışır. Bu itki funksiyası neyron şəbəkəni HR görüntüsündə faktura məlumatını tutmağa öyrədir.
Adversarial
Adversarial Loss GAN ilə əlaqəli bütün arxitekturalarda istifadə edilən düşmən itkisi ümumiyyətlə daha yaxşı qavrayış keyfiyyətinə malik şəkillər yaradır.
SR verilənlər toplusu
Süni intellektin ən mühüm özəyi məlumatlardır. Bizə həmçinin super həllediciliyə malik şəbəkələri hazırlamaq üçün məlumat lazımdır. İstifadə olunan ümumi məlumat dəstlərindən bəziləri bunlardır: Set5, Set14, DIV2K və Manga109. Bunlar layihələrinizə başlayarkən istifadə edə biləcəyiniz açıq məlumat dəstləridir.
Qiymətləndirmə Metrikləri
Bu bölmədə biz modellərin performansını müqayisə etmək üçün istifadə olunan ölçülərdən danışacağıq. Modellərin performansını ölçmək üçün ən çox istifadə olunan ölçülər; PSNR (Pek Siqnaldan Səs Nisbətinə), SSIM (struktur oxşarlıq indeksi ölçü) və MOS (Orta Rəy Hesabı). PSNR nəticələrin keyfiyyətini təyin etmək üçün istifadə edilən ən ümumi üsuldur. SSIM iki təsvirin qavrayış keyfiyyətini orta ilə müqayisə etmək üçün istifadə olunur. MOS, insanlardan 0 ilə 5 arasında bir şəkilə qiymət vermələrinin istəndiyi bir modelin nəticələrini təyin etmək üçün əl üsuludur.