„Adobe” oficialiai pristatė naują generatyvinį neuroninį tinklą „Firefly Video Model“, skirtą darbui su vaizdo įrašais, kuris tapo „Premiere Pro“ programos dalimi. Naudodamiesi šiuo įrankiu, vartotojai galės papildyti nufilmuotą medžiagą ir kurti vaizdo įrašus remdamiesi statiškais vaizdais bei tekstinėmis užuominomis.
„Adobe“ nuotr.
Generatyvinė funkcija „Generative Extend“, pagrįsta minėtu neuroniniu tinklu, beta testavimo metu tampa prieinama „Premiere Pro“ vartotojams. Ji leis pratęsti vaizdo įrašą keliomis sekundėmis pradžioje, pabaigoje ar kitoje pasirinktoje vietoje. Tai gali būti naudinga, kai montuojant reikia ištaisyti nedidelius trūkumus, tokius kaip žmogaus žvilgsnio krypties pakeitimas kadre ar nereikalingi judesiai.
Naudodamiesi „Generative Extend“, vartotojai gali pratęsti vaizdo įrašą tik dviem sekundėmis, todėl šis įrankis tinka tik smulkiems pakeitimams. Šis įrankis palaiko 720p arba 1080p raišką ir 24 kadrus per sekundę.
Taip pat ši funkcija tinkama prailginti garso įrašus, tačiau yra tam tikrų apribojimų. Pavyzdžiui, galima pratęsti kokį nors garso efektą arba foninį triukšmą iki 10 sekundžių, tačiau tai neįmanoma su pokalbių ar muzikos įrašais.
Tuo tarpu „Firefly“ internetinėje versijoje atsirado du nauji vaizdo įrašų generavimo įrankiai – „Text-to-Video“ ir „Image-to-Video“. Kaip rodo pavadinimai, šie įrankiai leidžia kurti vaizdo įrašus remiantis tekstinėmis užuominomis ir statiškais vaizdais. Šiuo metu abi funkcijos yra riboto beta testavimo etape, todėl gali būti neprieinamos visiems „Firefly“ internetinės versijos vartotojams.
„Text-to-Video“ veikia panašiai kaip kiti vaizdo įrašų kūrimo įrankiai, pavyzdžiui, „Sora“ iš „OpenAI“. Vartotojas turi įvesti tekstinį norimo rezultato aprašymą ir paleisti generavimo procesą.
Palaikoma įvairių stilių imitacija, o sugeneruotus vaizdo įrašus galima redaguoti naudojant „kameros valdymo elementus“, kurie leidžia imituoti kampo pokyčius, judesį bei keisti filmavimo atstumą.
„Image-to-Video“ leidžia pridėti statišką vaizdą prie tekstinio aprašymo, kad sugeneruoti vaizdo įrašai tiksliau atitiktų vartotojo reikalavimus. „Adobe“ siūlo šį įrankį naudoti, pavyzdžiui, kuriant naujas vaizdo įrašų versijas iš esamų kadrų.
Vis dėlto, paskelbti pavyzdžiai rodo, kad šis įrankis šiuo metu dar neleidžia visiškai atsisakyti perfilmavimo, nes jis nevisiškai tiksliai atkuria visus vaizde esančius objektus. Toliau pateikiamas originalaus vaizdo įrašo ir iš jo kadro sugeneruoto vaizdo pavyzdys.
Šiais įrankiais šiuo metu neįmanoma kurti ilgesnių vaizdo įrašų. „Text-to-Video“ ir „Image-to-Video“ leidžia generuoti vaizdo įrašus, trunkančius iki 5 sekundžių, esant 720p kokybei ir 24 kadrų per sekundę dažniui.
Palyginimui, „OpenAI“ teigia, kad jų „Sora“ gali kurti vaizdo įrašus, trunkančius iki minutės, „išlaikant vizualinę kokybę ir atitiktį vartotojo užuominoms“. Tačiau šis algoritmas dar neprieinamas plačiajai auditorijai, nors nuo jo pristatymo praėjo keli mėnesiai.
Vaizdo įrašų kūrimui naudojant „Text-to-Video“, „Image-to-Video“ ir „Generative Extend“ prireikia maždaug 90 sekundžių, tačiau „Adobe“ pranešė, kad dirba prie „turbo režimo“, siekdami sutrumpinti generavimo laiką.
Bendrovė pabrėžė, kad „Firefly Video Model“ pagrindu sukurti įrankiai yra „komerciškai saugūs“, nes neuroninis tinklas „mokosi” tik iš turinio, kurį „Adobe“ turi teisę naudoti.
