Ar pamenate detektyvinius serialus ar filmus, kuriuose peržiūrint įrašus nuotrauka priartinama taip arti, kad gali įžiūrėti net prabėgančią skruzdę ant dangoraižio? Atrodydavo įspūdingai, bet visi suprasdavome, kad tai neįtikėtina, nes skaitmeniniai vaizdai turi savo ribas? Filmuose įmanoma viskas, juose galima padaryti bet ką. Tačiau paaiškėjo, kad tai jau realybė, o ne tik filmo fantazija ekrane.
Ar pamenate detektyvinius serialus ar filmus, kuriuose peržiūrint įrašus nuotrauka priartinama taip arti, kad gali įžiūrėti net prabėgančią skruzdę ant dangoraižio? Atrodydavo įspūdingai, bet visi suprasdavome, kad tai neįtikėtina, nes skaitmeniniai vaizdai turi savo ribas? Filmuose įmanoma viskas, juose galima padaryti bet ką. Tačiau paaiškėjo, kad tai jau realybė, o ne tik filmo fantazija ekrane.
„Google“ pažabojo technologiją ir sugalvojo skaitmeninį priartinimą, kuris prilygsta optiniam. Panašu, kad jie sukėlė tikrą revoliuciją skaitmeninio priartinimo pasaulyje, perrašė skaitmeninės fotografijos taisykles naudodami savo „SuperResZoom“ technologiją. Dėka „Google“ kadaise fantazija laikytos technologijos iš ekranų pamažu skverbiasi į mūsų realų gyvenimą.
Skaitmeninės fotografijos principai
Pradėkime nuo pat pradžių – skaitmeninio fotografavimo ypatumų. Pati skaitmeninė fotografija yra pagrindinė problema, nes gautas vaizdas nėra visavertis, o kadangi jis nėra pilnas, tai ir artinant (didinant) vaizdą reikia iš kažkur paimti trūkstamas neužfiksuotas detales. Kaip taip gali būti?
Ne visi žino, kad beveik bet kuria skaitmenine kamera užfiksuoto vaizdo 2/3 yra netikra, o matematiškai apskaičiuota ir atkurta. Šiuolaikiniai skaitmeniniai jutikliai turi vieną esminį trūkumą – jie yra daltonikai, t.y. visiškai neskiria spalvų. Todėl, norint gauti spalvotą vaizdą, priešais matricą yra sumontuotas specialus spalvų filtrų tinklelis, kuris į matricą perduoda tik tam tikro spektro bangas. Kiekvienam pikseliui praleidžiamas tik atitinkamas šviesos spektras: raudonas, mėlynas arba žalias.
Dažniausias tokio tinklelio išdėstymo variantas yra „Bayer RGB“ filtras, kuriame 4 pikseliams tenka 2 žali, 1 raudonas ir 1 mėlynas filtrai. Nesunku suprasti, kad yra daugiau žaliųjų filtrų, nes žmogaus akis yra jautresnė šiam spektrui. Tikriausiai taip yra dėl to, kad didžiąją dalį laiko žmonija ir mūsų protėviai gyveno medžiuose ar aplink juos.
Dėl to, filtruodami šviesą tokiu būdu, pradiniame variante gauname raudonų, žalių ir mėlynų taškų mozaiką su daugybe neužpildytų – žaliojo filtro apdorojamojo kanalo skiriamoji geba sumažėja 2 kartus, o raudonojo ir mėlynojo – net 4. Beje, „Huawei“, pradedant nuo „P30“ serijos, bando išspręsti šią problemą naudodamas geltonus filtrus, o ne žalius, tačiau tai jau šiek tiek kita tema.
Taigi, norėdami atkurti visavertį spalvotą vaizdą, turime užpildyti trūkstamus pikselius kiekviename spalvų kanale, tai daroma pasitelkiant spalvų interpretavimo technologiją „DeBayerization“. Šio proceso metu neišvengiamai netenkame dalies kokybės, taip pat galimi vaizdo artefaktai (klaidos) – violetinis švytėjimas, laiptuoti kontūrai, nenatūralus spalvų persiliejimas.
Tačiau ne viskas taip niūru, kaip atrodo ant popieriaus. Nuolat tobulinami apdorojimo algoritmai, įmonės eksperimentuoja su spalvų filtrais, pavyzdžiui minėtas „Huawei“ RYYB spalvų filtras, kad padidintų foto jautrumą.
Skaitmeniniai aukštos raiškos kadrai
Daugelis skaitmeninių fotoaparatų naudoja „Pixel Shift“ technologiją. Paklausite, o prie ko čia skaitmeninis artinimas ir su kuo valgomas tas „Pixel Shift“? Tuoj viską paaiškinsiu.
Nuspaudus mygtuką kamera padaro keturias nuotraukas, kiekvienoje iš jų jutiklis būna paslenkamas lygiai per vieną pikselį į šoną. Taip, taip, viduje kameros matrica mechaniškai pajuda tam, kad būtų paruoštas pilnavertis vaizdas – tai ir yra pikselių paslinkimo technologija „Pixel Shift“. Tačiau yra viena problema – ši technologija tinka tik statinėms scenoms, kai fotoaparatas pritvirtintas ir objektas nejuda. Tuo metu, kai visi telefonų gamintojai galvojo, kad „Pixel Shift“ technologija begali būti pritaikoma nuolat stabiliai nenulaikomuose išmaniuosiuose telefonuose, „Google“ tarė: „O kas būtų, jei aukštos skiriamosios gebos nuotraukų fiksavimui naudotume natūralų fotografo rankų drebėjimą, o ne kontroliuojamą jutiklio poslinkį?“. Kaip tarė, taip ir padarė.
Kaip ir HDR+ technologijos atveju, vienu metu daroma kadrų serija iš kurios paimamos kelios nuotraukos ir kuo didesniu tikslumu suderinamos viena su kita. Net ir stengiantis nulaikyti kamerą nesujudėjus, rankos, norime to ar ne, nežymiai pajuda, dėl to vaizdas nufotografuojamas šiek tiek skirtingais kampais, o tai leidžia nustatyti atsitiktinius pikselių poslinkius, kurie suteikia pakankamai informacijos atkurti aukštos skiriamosios gebos vaizdą. Paprasta, mūsų kūno netobulumas, panaudotas pasiekti tobulą kadrą.
O ką daryti, jei telefonas nejuda, mes jį pastatėme ant stalo įamžinti šeimyninę nuotrauką arba pritvirtinome ant štatyvo? Tokiu atveju kamera imituoja natūralų rankų judesį, judindama optinio stabilizavimo modulį. Jei nejudinsite fotoaparato „Google“ pajudins jį už jus. Galite patikrinti patys, pritvirtinkite „Google Pixel“ telefoną ant štatyvo ir priartinkite vaizdą maksimaliai, pamatysite, kaip vaizdas nežymiai juda.
Norint gauti aiškų vaizdą be minėtų artefaktų, kiekvienas kadras kruopščiai išanalizuojamas ir šiek tiek deformuojamas, kad atitiktų pagrindinį kadrą. Kiekviename spalvų kanale analizuojamos objektų ribos ir jų faktūros. Vaizdai ant objektų kraštų yra suspaudžiami, kad jie būtų ryškesni ir neturėtų laiptelių, o plokščiose vietose, atvirkščiai, vaizdas yra ištempiamas ir koreguojamas atsižvelgiant į numatomą triukšmo lygį, todėl tose vietose tekstūros nedeformuojamos. Ir visa tai leidžia gauti originalų vaizdą didesne raiška, nei buvo fiziškai įmanoma.
Skaitmeninis priartinimas
Algoritmai gali apdoroti informacijos klaidas ir pateikti nepriekaištingą rezultatą, jutikliai užfiksuoja mūsų rankų judėjimą ir paverčia tai privalumu, bet kaip nufotografuoti priartintą vaizdą ne kvadratukais, juk begalinės optikos telefone nepaslėpsi. Beje, „Huawei“ ir „Samsung“, skirtingai nuo „Google“, nuėjo techninės įrangos tobulinimo keliu ir savo aukščiausios klasės telefonuose panaudojo periskopinio tipo lęšius.
Norint padidinti gautą vaizdą, naudojamas ne koks nors banalus interpoliacijos algoritmas, kuris nustato tarpines reikšmes tarp greta esančių pikselių, o patentuotas „Google“ algoritmas „RAISR“, pagrįstas dirbtiniu intelektu. Taigi, „SuperResZoom“ priartinimas susideda iš dviejų dalių:
- Aukštos skiriamosios gebos nuotraukų fiksavimas klijuojant kelis kadrus gautus apskaičiuojant sub-pikselių poslinkį;
- Nuotraukos artinimas (didinimas) naudojant kompiuterinius neuroninius tinklus.
Daugelis pasakys, kad optinis toks skaitmeninis priartinimas negali prilygti optiniam artinimui. Iš dalies tame yra tiesos, tačiau išmanaus telefono korpusas yra labai ribotas. Jau dabar kamerų moduliai vis labiau iškyla virš korpuso ir erzina akį ne tik savo dizainu, bet ir siūbavimu paguldžius ant stalo. Niekas nenorime grįžti 10 metų atgal ir nešioti kišenėje storų telefonų, tad ateityje telefonuose vietos bus dar mažiau. Šiuolaikiniai optiniai sprendimai reikalauja tam tikrų aukų – naudojami ganėtinai dideli židinio nuotoliai, kas apsunkina šviesos patekimą į sensorių. Dėl to dažnu atveju „Google“ naudojama technologija, ypač tamsoje, priartinus iki 2x yra pranašesnė už optinį artinimą.
„SuperResZoom“ technologija keičia požiūrį į skaitmeninį spalvotų vaizdų fiksavimą ir suteikia daug galimybių eksperimentuoti su spalvų filtrais. Taip pat, šis vaizdų klijavimo būdas pagal nutylėjimą yra naudojamas „Pixel 3“ „NightSight“ režime, o ateityje greičiausiai jis taps neatsiejama HDR+ technologijos dalimi.
Kaip ir minėjau, konkurentai nesnaudžia, o problemos turi kelis sprendimo būdus, tad ateityje laukia daug įdomių ir neįtikėtinų sprendimų pakeisiančių ir palengvinančių mūsų kasdienį gyvenimą.
Šaltinis: https://sites.google.com/view/handheld-super-res/
