Grupė VGTU mokslininkų vykdo taikomąjį MTEP SMART mokslinį projektą „Papildančios tikrovės kompleksiniai tyrimai socialiai neįgaliems (akliems ir silpnaregiams)“. Prototipas, paremtas maršrutų vaizdine analize bei socialine tinklaveika.
Įsivaizduokite save esant visiškoje tamsoje prekybos centre, biure, ligoninėje, mokykloje, viešoje įstaigoje ar kitur. Jūs nieko nematote, o reikia pasiekti reikiamą kabinetą, prekybos vietą, laiptus, liftą ir pan. Gerai, jeigu pasitaikys šalia paslaugus žmogus, kuris jums padės ir už parankės nuves ten kur reikia, tačiau pasikliauti vien sėkme ir būti priklausomam nuo jos tai kaip, liaudiškai sakant, aklai vištai grūdą rasti, rašoma pranešime žiniasklaidai.
Prototipo testavimai © VGTU
Su tokia realybe kasdien pasaulio mastu susiduria beveik 40 milijonų aklųjų. Pastatų viduje (skirtingai nei lauke) dėl ekranuojamų palydovinių signalų navigaciniai GPS įrenginiai prastai veikia arba neveikia visai. Kaip žinia, aklieji dažniausiai naudoja baltąją lazdelę tam, kad nedideliu atstumu aptiktų kliūtis ir grindų reljefą, tačiau šiuolaikinės technologijos jau leidžia sukurti elektroninius pagalbinius vedlius (angl. Electronic Travelling Aids) navigavimui vidaus patalpose bei suteikti kitos naudingos informacijos apie aplinką ir joje esančius objektus.
Grupė VGTU mokslininkų vykdo taikomąjį šios krypties MTEP SMART mokslinį projektą „Papildančios tikrovės kompleksiniai tyrimai socialiai neįgaliems (akliems ir silpnaregiams). Projekto pradžioje buvo atlikti rinkos poreikių ir galimybių tyrimai, apklausiant akluosius ir ekspertus. Tai leido išsiaiškinti tikruosius aklųjų poreikius ir nepatenkintus jų lūkesčius bei iškristalizuoti į vartotojų realius poreikius orientuotų technologinių sprendimų paiešką. Projekte įdarbinti pora aklųjų ekspertų konsultavo tyrimų eigoje, padėdami perprasti specifines navigavimo ir orientavimosi vidaus patalpose problemas su kuriomis susiduria aklieji.
 Mobilios aplikacijos vaizdas (aklojo navigavimo režimo valdymo sąsaja: modalumas#2) © VGTU |
|---|
Anot projekto vadovo vyriausiojo mokslo darbuotojo prof. Dariaus Plikyno, pasitelkiant UAB „Neurotechnology“ sprendimus („SentiBotics“ ir „Verilook“ robotų navigacijai ir veido atpažinimui skirti programiniai paketai), bendradarbiaujant su mechatronikos ekspertais, programuotojais, aklaisiais, oftalmologais bei Lietuvos aklųjų sąjunga kuriamas elektroninio vedlio funkcinis prototipas navigavimui vidaus patalpose. Į kuriamo įrenginio sistemą įeina IMU jutikliai (akselerometras, magnetometras, giroskopas ir pan.), stereo ir gylio kameros, valdiklis, taktilinė (vibracinė) matrica, kaulinio laidumo ausinės, mikrofonas, EMG (elektromiografiniai sensoriai), mobilus telefonas su instaliuota valdymo programėle, mini PC bei internetinio ryšio modulis. Iš esmės šis funkcinis prototipas išsiskiria nuo kitų sprendimų tuo, kad a) nereikalauja brangių infrastruktūrinių investicijų patalpose, kaip antai WI-FI maršrutizatorių, taip vadinamų švyturėlių (angl. beamers) ar RFID žymeklių ir pan., b) naudoja šiuolaikinius spartaus vaizdų atpažinimo ir objektų klasifikavimo su konvoliuciniais neurotinklais algoritmus, c) įgalina daugialypes vartotojo sąsajas, naudojant taktilinį (vibratorių matricos displėjus ėjimo krypčių, atstumo ir objektų zonų atvaizdavimui), garsines kaulinio laidumo ausines, gestų atpažinimą d) patogus ir mažai išsiskiriantis dėvimas ant galvos dizainas, e) mobili įrangos valdymo ir nustatymų pasirinkimo aplikacija, f) prototipo berankio valdymo galimybė, naudojant elektromiografijos (EMG) signalus, g) online ir offline veikimo režimai, h) einant aklajam pasirinktu maršrutu, semantinės informacijos garsu pateikimas apie praeinamus galimai lankytinus POI taškus (angl. Points of Interest). Svarbu pažymėti, kad į JAV USPTO patentų biurą yra pateikta funkcinio prototipo sistemos patentinė paraiška.
Kuriamo įrenginio naudojimas turi analogiškiems sprendimams nebūdingų ypatumų. Jis susideda iš trijų nuosekliai vienas po kito einančių pagrindinių modalumų (veikimo režimų): (i) savanorių maršrutų sudarymo režimas, kai jie pastatų viduje praeidami su įrenginiu sudaro vaizdais paremtus maršrutus, pažymi POI bei patalpina informaciją tolimesniam apdirbimui į debesijos serverio (arba mini PC) DB; (ii) aklųjų navigavimo režimas, kai jie mobilios aplikacijos pagalba iš DB pasirenka norimą maršrutą ir su įrenginiu naviguoja pastatų viduje naudodami realaus laiko elektroninį vedlį; (iii) aklųjų navigavimo režimas sudėtingose situacijose, kai jie su įrenginiu pasiklysta ar susiduria su neatpažintomis kliūtimis ir pan.; tuomet per mobilią aplikaciją jie gali išsikviesti savanorių pagalbą, kurie nuotoliniu būdu (per mobilią aplikaciją ar kompiuterio ekraną), realiu laiku matydami aklojo kamerų vaizdą, nueito maršruto istoriją, pastato išplanavimo schemas bei aklojo lokaciją jose, gali padėti aklajam pasiekti tikslą.
 Įrangos naudojimas pastato viduje: atpažįstamos durys ir užrašas šalia jų © VGTU |
|---|
Šis daugiafunkcinis įrenginys antrame ir trečiame modalumuose (veikimo režimuose) susideda iš aštuonių veikimo modų, iš kurių vienu laiko momentu tik viena yra pagrindinė, o kitos gali veikti fone. Šios modos perjungiamos per mobilią valdymo sąsają: 1) objektų atpažinimas, 2) specifinių (vartotojo aplinkos) objektų atpažinimas, 3) kameromis matomos scenos garsinis aprašas, 4) įsimintų veidų atpažinimas (su galimybe atpažįstant lytį, amžių ir žmogaus nuotaiką), 5) užrašų atpažinimas, 6) kliūčių atpažinimas, 7) navigavimas, 8) socialinė tinklaveika sudėtingose situacijose.
Taigi, kompleksinio tyrimo dėka realizuojamas funkcinis prototipas, kuriame taikomos elektronikos, mechatronikos, neuroninių tinklų, programavimo bei socialinių mokslų disciplinos. Pastaroji sritis ypač aktuali dėl inovatyviai pritaikytų socialinės tinklaveikos galimybių (angl. crowdsourcing) pastatų vidaus patalpų navigacinių maršrutų DB sudarymui (1-asis modalumas) ir pagalbai akliesiems esant sudėtingose navigavimo situacijose (3-asis modalumas). Tokios socialinės tinklaveikos išplėtojimas turi daug potencialių galimybių, pvz., pasauliniu mastu sukuriant savanorių pastoviai atnaujinamą pastatų vidaus maršrutų duomenų bazę, kuria galėtų naudotis aklieji. Įvedus maršrutų ir savanorių reitingavimo funkcijas tokia duomenų bazė galėtų padėti patiems akliesiems atsirinkti naujausius, patikimiausius, populiariausius ar patraukliausius maršrutus.
Siekiama sukurti MTEP 5-6 lygio maketo-prototipo bandomąją versiją, kurią vėliau su papildomomis investicijomis galima būtų išvystyti iki MTEP 9 lygio ir įdiegti į rinką.
