Tam, kad komunikacija tarp girdinčiųjų bei kurčiųjų taptų lengvesnė KTU IF Programų sistemų absolventas Lukas Gužauskas ir KTU magistrantas Laurynas Bičkauskas pasiūlė pirmąją Lietuvoje išmaniąją mobiliąją programėlę, kuri leis greitai ir tiksliai versti gestų kalbos ženklus ir galės būti naudojama kaip alternatyvus teksto suvedinėjimo būdas.
Gestų kalba yra vizualiai perduodama rankų bei kitų kūno dalių judesiais bei padėtimi, turinti savitą gramatiką. Girdintieji neretai susidaro klaidingą nuomonę apie šią kalbą, manydami, kad ji – tarptautinė. Vis dėlto, rinkoje trūksta sistemų, kurios galėtų atpažinti ne tik gestų kalbos abėcėlę, bet ir kitus ženklus.
Tam, kad komunikacija tarp girdinčiųjų bei kurčiųjų taptų lengvesnė Kauno technologijos universiteto Informatikos fakulteto (KTU IF) Programų sistemų absolventas Lukas Gužauskas ir KTU magistrantas Laurynas Bičkauskas pasiūlė pirmąją Lietuvoje išmaniąją mobiliąją programėlę, kuri leis greitai ir tiksliai versti gestų kalbos ženklus ir galės būti naudojama kaip alternatyvus teksto suvedinėjimo būdas.
Šiuo metu vien Lietuvoje gyvena apie 40 tūkst. asmenų, turinčių didesnį ar mažesnį klausos sutrikimą. Kurčias žmogus nekalba, tad gestų kalba tampa jo gimtąja kalba. Pasaulinės sveikatos organizacijos (angl. World Health Organization) duomenimis pasaulyje gyvena daugiau nei 460 milijonų klausos negalią turinčių žmonių – tai sudaro daugiau nei 5 procentus viso pasaulio žmonių. Prognozuojama, kad 2050 metais tokių žmonių bus daugiau nei 900 milijonų.
Iš gestų kalbos į šnekamąją verčia mobilusis telefonas
KTU studentų sukurta programėlė suteikia galimybę mokytis tarptautinės gestų kalbos abėcėlės – ji turi gestų kalbos vaizdų sąrašą, kuris sudarytas iš 29 skirtingų tarptautinio gestų abėcėlės raidžių. Pagrindinė produkto funkcija – vaizdų klasifikavimas realiu laiku.
„Mobilios programėlės vartotojui planuojame prieinamas keturias pagrindines funkcijas: tarptautinės gestų kalbos abėcėlės pavyzdžių peržiūra, abėcėlės raidžių prognozavimas iš vaizdo realiu laiku, tuo pačiu metu užrašant ekrane, ir žmonių kalbos vertimas iš garso į ekrane atvaizduojamą tekstą“, – paaiškina veikimo principą L. Gužauskas.
Kurtiesiems bendraujant su girdinčiaisiais, nebereikės rašyti ant popieriaus, o tiesiog atidaryti šią programėlę – savo gimtąja kalba kurčiasis rodo gestus į telefono kamerą, o girdintysis taria žodžius, abu gali matyti kito mintis tekstu.
„Taip pat programėlėje yra keli nustatymai: pirmas – rankos prognozavimo nustatymas. Šiuo nustatymu vartotojas pasirenka tinkamos rankos (kairės ar dešinės) mygtuką. Kitas – prognozavimo greičio ir tikslumo nustatymas“, – apie mobiliąją programėlę pasakoja pašnekovas.
Rinkoje yra gestų kalbos programėlių naudojančių atviro kodo programas, tačiau jų naudojimas pritaikytas tik asmeninio kompiuterio ekrane. Dėl to, pasak studento, tikslas buvo panaudoti greitai prieinamą įrenginį – mobilųjį telefoną, naudojant išmaniąją programėlę.
Gerai suprasdami problemą kliūtį pavertė išskirtinumu
Pasak klausos negalę turinčio L. Gužausko, kurčias žmogus, norintis bendrauti su girdinčiais, kurie nemoka gestų kalbos, susiduria su komunikacijos problema. Žmonės negali suprasti, ką nori pasakyti kurčiasis, nes gestų ir lietuvių kalbose yra skirtinga sakinių struktūra bei gramatika.
„Dažnos problemos todėl, kad girdintis dažnai nesupranta, ką kurčias parašo ir atvirkščiai. Kurčiųjų kalba negali būti išversta pažodžiui. Sakinių struktūros ir kalbos gramatika skiriasi. Kadangi kurčiasis negirdi, tai ne visada išeina gramatiškai teisingai parašyti sakinį, o tai kartais būna reali problema norint teisingai perteikti mintį“, – sako L. Gužauskas
Studentas pasakoja, kad kurčias žmogus dažniausiai turi užsisakyti ir naudotis gestų vertėjų paslaugomis, o tai reikia daryti iš anksto. Tai reiškia, kad nenumatytais atvejais gestų vertimo paslaugos klausos negalią turintis žmogus išviso negaus.
„Daug kartų pastebėjau, kad kurčias žmogus negali ar nesugeba, o kartais jam ir per sunku gyvai bendrauti su žmonėmis. Kurčias žmogus kartu su gestų vertėju gali surinkti labai daug informacijos iš aplinkos, o be vertėjo kurčiasis jos gauna per mažai“, – teigia absolventas.
Baigiamojo projekto darbo vadovas, KTU Informatikos fakulteto (IF) mokslininkas Mantas Lukoševičius pasakoja, kad dirbant su studentais bendravimo barjerą tarp kurčiųjų ir girdinčiųjų teko patirti ir jam.
„Puiku, kad jie šią kliūtį pavertė į savo išskirtinumą ir pranašumą: gerai suprasdami problemą, sukūrė įrankį, kuriuo gali naudotis visi. Smagu dirbti su tokiais studentais kaip Laurynas ir Lukas. Savo darbe jie praėjo visą kelią nuo idėjos iki galutinio rezultato: išsigrynino problemą, kurią sprendė, surinko reikalingus duomenis – abėcėlės gestų vaizdus, atliko tyrimą kokie moderniausi dirbtinio intelekto metodai geriausiai juos atpažįstą. Taip pat, apmokytą neuroninių tinklų modelį sėkmingai perkėlė veikti į išmanųjį telefoną“, – džiaugiasi rezultatais M. Lukoševičius.
Baigiamasis darbas buvo įvertintas mecenatų stipendija
Idėja sukurti tarptautinių gestų kalbos ženklų mobiliąją programėlę gimė, kai vaikinai atlikinėjo praktiką įmonėje „Indeform“.
„Praktikos vadovas pasiūlė man ir mano kolegai Laurynui šią temą – kad telefono kamera galėtų nuskaityti žmogaus rankų gestų atpažinimą, panaudojant neuroninį tinklą“, – prisimena L. Gužauskas.
Pasak įmonės „Indeform“ direktoriaus dr. Algirdo Noreikos, naujausių IT technologijų, tokių kaip vaizdų atpažinimas ir dirbtinis intelektas panaudojimas buvo vienas iš pagrindinių kriterijų, dėl ko šis darbas buvo įvertintas mecenatų stipendija.
„Idėja atėjo savaime, kadangi vienas iš praktikantų turėjo klausos negalę, tad natūraliai atsirado poreikis rasti sprendimą komunikacijai su juo pagerinti. Darbas aktualus tiek dėl realaus pritaikymo, potencialaus poreikio, tiek dėl darbe naudotų IT technologijų“, – sako A. Noreika.
Jis taip pat teigia, kad jeigu ateityje bus poreikis bei susidomėjimas šiuo produktu, darbas bus plėtojamas.
Programėlės „Gesture Alphabet Translator“ beta versija šiuo metu yra įkelta į mobilių telefonų programėlių parduotuvę „Google Play“ ir yra viešai prieinama Lietuvoje.
