Nors UEFA Europos futbolo čempionatas eina į pabaigą, laukia pačios svarbiausios finalinės varžybos, nulemsiančios čempionų titulą gausiančią šalį. Kol laukiama rezultatų KTU mokslininkai siūlo tiesiogines futbolo varžybų transliacijas tobulinantį metodą – kompleksinę sistemą, kuri pagerintų žiūrovų patirtį, pašalindama dėl persidengiančių kamerų kampų atsirandančius vizualinius trukdžius.
Nors UEFA Europos futbolo čempionatas eina į pabaigą, laukia pačios svarbiausios finalinės varžybos, nulemsiančios čempionų titulą gausiančią šalį. Kol laukiama rezultatų Kauno technologijos universiteto (KTU) mokslininkai siūlo tiesiogines futbolo varžybų transliacijas tobulinantį metodą – kompleksinę sistemą, kuri pagerintų žiūrovų patirtį, pašalindama dėl persidengiančių kamerų kampų atsirandančius vizualinius trukdžius, rašoma KTU pranešime žiniasklaidai.
Viena iš tiesioginių transliacijų metu atsirandančių problemų – atsitiktinis operatorių pasirodymas vienas kito kadruose. Tokie atvejai ne tik atitraukia dėmesį nuo svarbiausių rungtynių momentų, tačiau dėl žiūrovų nepasitenkinimo transliuotojai gali prarasti ir dalį pajamų.
„Mūsų naujasis išradimas – tai vaizdo operatoriams aptikti pritaikytas algoritmas“, – patikslina vienas iš inovacijos sumanytojų KTU profesorius Rytis Maskeliūnas.
Kaip pabrėžia kitas tyrėjų komandos narys, šiais metais KTU magistro studijas pabaigęs Serhiis Postupaievas, operatorių buvimas kadre – dažna futbolo transliacijų problema. Tai lemia sudėtingas tiesioginių sporto transliacijų pobūdis ir daugybė kamerų, išdėstytų aplink stadioną.
„Prestižinius turnyrus filmuoja daugiau nei devynios kameros, todėl persidengiantys vaizdai ir yra pagrindinė problema, smarkiai varžanti operatorių komandą. Vengdami užfiksuoti vieni kitus, jie praleidžia kritinius varžybų momentus, o taip prarandamas kontekstas, transliacija tampa mažiau dinamiška ir neįtraukianti“, – aiškina S. Postupaievas.
Kamerų išsidėstymas aikštėje / KTU iliustracija
Vizualinių trukdžių pašalinimui sukūrė algoritmą
Naujosios sistemos veikimui ir kūrimui buvo panaudotas YOLOv8 modelis – moderniausia objektų aptikimo sistema, žinoma dėl savo greičio ir tikslumo. YOLOv8, kuris yra žodžių junginio „Tu žiūri tik vieną kartą“ (angl. You only look once) santrumpa, gali aptikti ir suklasifikuoti objektus vaizduose vienu metu, todėl idealiai tinka realaus laiko renginiams, o šiuo atveju – tiesioginėms futbolo transliacijoms.
„Jis veikia padalydamas vaizdą į tinklelį ir numatydamas kiekvieno tinklelio langelio ribinius laukus, klasių tikimybes ir segmentavimo poligonus. Tai leidžia nustatyti ir segmentuoti pasirodžiusius operatorius vaizdo kadruose“, – sako Serhiis Postupaievas.
Norint išmokyti YOLOv8 modelį tiksliai atlikti šį darbą, mokslininkams reikėjo sukurti duomenų rinkinį. „Šį duomenų rinkinį sukūriau taip, kad į jį patektų įvairių dydžių, formų ir tipų įrangą turintys operatoriai, užfiksuoti įvairiomis sąlygomis ir skirtingais rungtynių momentais. Dabar YOLOv8 modelis naudoja šiuos duomenis, kad nustatytų, kur vaizdo įrašuose yra operatoriai“, – priduria jaunasis tyrėjas S. Postupaievas.
Kaip aiškina išradėjas, šie žingsniai – tik pasiruošimas technologijai, vadinamai objektų pašalinimu iš vaizdo įrašo arba dažymo modeliu (angl. inpainting).
„Šis terminas [„inpainting“] giliojo mokymosi srityje reiškia prarastų ar sugadintų vaizdų ir vaizdo įrašų dalių atkūrimo procesą. Konkrečiai šiuo atveju jis naudojamas operatorių pašalinimui iš futbolo transliacijų“, – sako S. Postupaievas.
Objektų pašalinimas iš vaizdo įrašo / KTU nuotr.
Aiškindamas jos veikimą KTU alumnas iš Ukrainos sako, jog tai – technologija, pagrįsta dirbtiniu intelektu (DI) ir kompiuterine rega, analizuojanti vaizdo įrašų kadrus nepageidaujamų objektų aptikimui, o pašalintas vietas užpildanti atitinkamomis fono detalėmis. Pakeisti kadrai tada transliuojami žiūrovams, užtikrinant įtaigesnę ir profesionalesnę transliaciją.
„Tinklas numato trūkstamas arba užtušuotas vaizdo dalis, naudodamasis aplinkinių pikselių kontekstu. Dažymo modelis sukuria tikėtiną ir vizualiai nuoseklų trūkstamos srities foną, užtikrindamas, kad tekstūros, raštai ir spalvos vientisai susilietų su likusia vaizdo dalimi“, – pabrėžia prof. R. Maskeliūnas.
Dėmesys sutelktas ne tik į veiksmo fiksavimą
Naudojant šią naująją technologiją, futbolo rungtynių transliacija gerokai patobulės, o vienas iš privalumų – sklandesnė žiūrėjimo patirtis. „Transliacija atrodys labiau ištobulinta ir profesionalesnė, be trikdžių, kuriuos sukelia operatoriai, pasirodantys ten, kur neturėtų. Šis patobulinimas sumažins atvejus, kai dėl blaškančių kadrų praleidžiami svarbūs rungtynių momentai“, – pabrėžia S. Postupaievas.
Televizijos serveriuose šis algoritmas galėtų apdoroti vaizdą prieš jį transliuojant į eterį su kelių sekundžių vėlavimu nuo tikrojo užfiksuoto momento, kuris vis tiek laikomas tiesiogine transliacija. KTU mokslininkas R. Maskeliūnas mano, kad tobulėjant įrangai DI puikiai užpildys šį laiko tarpą.
Pasak S. Postupaievo, tolimesni tyrimai šioje srityje galėtų pradėti naują sporto transliacijų erą, kurioje dėmesys būtų sutelktas ne tik į veiksmo fiksavimą, bet ir į visapusiškai įtraukiančio ir nepertraukiamo žiūrėjimo patirties kūrimą. „Pritaikius šį algoritmą, transliuojančios bendrovės galės išbandyti naujoviškus kameros kampus, filmavimo perspektyvas ir efektus, taip atgaivindamos rungtynes naujais ir įdomiais būdais“, – sako jis.
Be to, objektų pašalinimo iš vaizdo įrašų technologija gali neapsiriboti vien tiesioginėmis transliacijomis, bet ir pagerinti prieš ir po rungtynių atliekamą analizę ar atkurti archyvinę medžiagą.
Paminėtina ir tai, kad išradimas gali būti pritaikomas ne vien futbolui, bet ir kitoms sporto šakoms, pavyzdžiui, salės futbolui ar krepšiniui, kuriose susiduriama su panašiais transliavimo iššūkiais.
„Tai dar viena iliustracija, ką gali šiuolaikinės dirbtinio intelekto programos. Dažnai girdime apie taikymus medicinoje, o čia turime į vartotojus orientuotą požiūrį – redaguoti nepatinkančius, kadrus gadinančius vaizdus. Ateityje tokios technologijos galės, pavyzdžiui, pašalinti reklamas arba pakeisti jas kitomis, taip nuolat atnaujindamos turinį tokiu tikslumu, kurio žmogaus akis nepastebės“, – panaudojimo galimybes apsvarsto KTU Informatikos fakulteto profesorius R. Maskeliūnas.
Mokslininkų straipsnis „Real-time camera operator segmentation with YOLOv8 in football video broadcasts“.
