Didelę dalį komunikacinių žinučių žmonės vieni kitiems perduoda ne balsu, o emocijas atspindinčiomis veido mimikomis ar rankų judesiais. Aklieji ir silpnaregiai taip komunikuoti negali. Tiksliau, negalėjo iki šiol – technologinis progresas leis akliesiems „išvysti“ aplinkinių šypsenas ar kitas nepažintas emocijas.
Balsu mes perduodame tik apie trečdalį visos informacijos. Didelę dalį komunikacinių žinučių žmonės vieni kitiems perduoda ne balsu, o emocijas atspindinčiomis veido mimikomis ar rankų judesiais. Aklieji ir silpnaregiai taip komunikuoti negali. Tiksliau, negalėjo iki šiol – technologinis progresas leis akliesiems „išvysti“ aplinkinių šypsenas ar kitas nepažintas emocijas.
Bendradarbiaudami su neregiais „Huawei“ sukūrė programą, kuria naudodamiesi aklieji gali „pamatyti“ su jais bendraujančių žmonių emocijas. „Huawei“ telefonui „Mate 20 Pro“ pritaikyta programa „Facing Emotions“, naudodama kamerą bei dirbtinį intelektą, atpažįsta pagrindines septynias žmogaus veide matomas emocijas ir paverčia jas unikaliais garsais.
„Kasdien su daugeliui žmonių nesuvokiamais iššūkiais susiduriantys aklieji ir silpnaregiai turi naują galimybę praturtinti savo gyvenimą ir sukurti glaudesnį ryšį su artimaisiais. Džiaugiamės, kad programėlė ją išbandžiusiems paliko puikų įspūdį“, – teigia „Huawei“ Baltijos šalių vartotojų verslo grupės vadovas Yanfei.
Kaip skamba šypsena?
„Facing Emotions“ buvo sukurta išnaudojant didžiules dirbtinio intelekto siūlomas galimybes. Jos algoritmai buvo išmokyti analizuoti telefone matomų žmonių veido mimikas, o atpažinus konkrečią emociją, ją paversti garsu. Taip buvo sukurta nauja neregiams ir silpnaregiams skirta kalba – jie gali išgirsti kitų žmonių reiškiamas emocijas.
Programa naudoja galines telefono kameras ir kiekvieną akimirką skenuoja žmogų, su kuriuo kalba aklasis. Ji užfiksuoja įvairias veido dalis – akis, nosį, antakius ir burną, matuoja jų poziciją vienas kito atžvilgiu. Identifikavęs emociją – pavyzdžiui, šypseną, dirbtinio intelekto algoritmas ją transformuoja į aklajam girdimą specifinį garsą, kurį skleidžia pats išmanusis telefonas arba ausinės.
Viskas vyksta realiu laiku – vos pašnekovui nusišypsojus, galingas procesorius judesį atpažįsta, įvertina ir tą pačią akimirką aklasis išgirsta specifinį šypseną reiškiantį garsą. Nuolat besimokantis dirbtinio intelekto algoritmas kartu su programa įrašomas į įrenginio atmintį, kad „Facing Emotions“ galėtų veikti nenaudodama interneto.
Prie kūrimo prisidėjo ir neregiai
Pirmoji pasaulyje tokio tipo programa buvo sukurta „Huawei“ specialistams bendradarbiaujant su aklųjų bei labdaros organizacijomis. Didelę pagalbą kuriant „Facing Emotions“ suteikė Lenkijos aklųjų asociacija, iš savo narių surinkusi bandytojų komandą, kurios atstovai aktyviai dalyvavo kiekviename programos kūrimo etape.
Ne mažiau svarbi „Facing Emotions“ dalis nei vaizdų atpažinimo algoritmas yra garsas. Visus juos sukūrė Tomaszas Bileckis – nematantis kompozitorius, prisidėjęs prie įvairių, akliesiems ir silpnaregiams skirtų projektų įgyvendinimo. Vienas jo kūrinių – „Invisible Exhibition“ muziejus, kurio eksponatai yra visiškoje tamsoje – kiekvienas jame apsilankęs žmogus gali per valandą pajusti, ką aklieji jaučia visą gyvenimą. Be to, ekskursijas jame veda taip pat nematantys žmonės.
Kalbėdamas apie garsų programai kūrimą, T. Bileckis pabrėžė, jog šie turi būti trumpi, skirtingi, lengvai įsimenami ir neįkyrūs, kad netrikdytų klausančiojo. Unikalus kompozitoriaus suvokimas leido sukurti būtent tokius garsus – juos gyrė ir bandymuose dalyvavę aklųjų asociacijos atstovai.
Programos funkcionalumą galės įvertinti ir lietuviai: dešimtį išmaniųjų telefonų „Huawei“ žada įteikti „Lietuvos aklųjų ir silpnaregių sąjungos“ nariams.
Neregių kasdienybė – trumpametražiame filme
Siekiant maksimaliai išnaudoti „Facing Emotions“ programos galimybes, specialistai sukūrė ir unikalų laikiklį. Telefonas į jį įdedamas taip, kad kameros būtų nukreiptos į priekį – ten, kur pašnekovas. Jis pagaminamas 3D spausdintuvu ir gerokai palengvina telefono naudojimą – daugybę jo funkcijų galima valdyti balsu.
Norėdami parodyti, kokią įtaką „Facing Emotions“ daro kasdieniniam žmonių gyvenimui, „Huawei“ sukūrė ir trumpametražį dokumentinį filmą apie trijų aklųjų bei silpnaregių gyvenimą. Visi herojai – Mirjana iš Švedijos, Robertas iš Lenkijos ir Mustafa iš Turkijos – buvo rasti bendradarbiaujant su vietinėmis organizacijomis. Operatoriai siekė užfiksuoti kuo natūralesnes herojų reakcijas bendravimo su kitais žmonėmis metu ir tai padaryti nebuvo sudėtinga – „aktoriai“ buvo išties sužavėti novatoriškomis technologijomis ir jų suteikiamomis galimybėmis.
„Ši programa – dar vienas įrodymas, kad dirbtinis intelektas nebėra mokslinė fantastika ar tik laboratorijose egzistuojantis organizmas. Technologija jau čia, kiekvienas mūsų galime dirbtinio intelekto įrenginius turėti savo kišenėje“, – teigia „Huawei“ Baltijos šalių vartotojų verslo grupės vadovas Yanfei.
