A Tolmácskesztyű projekt célja egy olyan segédeszközt alkotni, mellyel a beszéd- és halláskárosult emberek kézmozgást, gesztusokat használva képesek a mindennapi életben kapcsolatot teremteni ép embertársaikkal. A kifejlesztett segédeszköz egy innovatív hardver-szoftver rendszer, amely egy kézmozgást érzékelő kesztyűből és a kézjeleket felismerő és nyelvi feldolgozást végző szoftverből áll. A Tolmácskesztyű eszközrendszer jelnyelvi szinkrontolmácsként működik, segítségével a fogyatékkal élők anyanyelvükön - vagyis jelnyelven - kommunikálhatnak az épekkel. A Tolmácskesztyű a jelelt szöveget hangosan felolvassa, így a sérültek és a (jelnyelvet nem ismerő) épek között folytonos kommunikáció jön létre.

A siketnéma emberek kommunikációs lehetőségeit nagymértékben bővíti az eszköz. Ők jelenleg hosszas és nehézkes magyarázkodással tudják megértetni szándékukat, vagy kénytelenek jelnyelvi tolmács segítségére támaszkodni. A Tolmácskesztyű azonban jelentősen előmozdítja társadalmi integrációjukat, mivel általa képesek magukat megértetni a jelnyelvet nem ismerőkkel és olyan mindennapi helyzeteket megoldani, amelyek korábban - fogyatékosságuk okán - önállóan leküzdhetetlen akadályt jelentettek. Üzletben, piacon való vásárlástól kezdve a banki ügyintézésen át az oktatásban való részvételig számos kaput nyit meg számukra a Tolmácskesztyű. Ezen felül az eszköz jelentősen előmozdíthatja a beszéd- és halláskárosult emberek munkavállalási lehetőségeit is. 

A Tolmácskesztyű hardver prototípusa lélegző elasztikus anyagból készült, ergonomikus tervezésének köszönhetően az elektronika és a szenzorok nem zavarják viselőjét, ezzel biztosítva a problémamentes mindennapos használatot. A felhasználó mobiltelefonjára csatlakozva a kesztyű folyamatosan küldi a gesztusleírókból álló adatfolyamot, melyen a mobilapplikáció összetett magas szintű számítási feladatokat hajt végre.

A kutatók által létrehozott gesztusleíró nyelv szemantikája az általános emberi biomechanikus jellemzőket tartalmazza, ugyanakkor igazodik a kesztyű hardver speciális igényeihez is. Egy Hagdil leíró (Hand Gesture DescrIption Language) tárolja az emberi kéz minden lényeges anatómiai jellemzőjét. A Hagdil-t a felhasználói kéz gesztusainak kódolására használjuk, ezeket a mobileszköznek folyamatosan közvetítve az applikáció megfelelő információt kap a kézfej aktuális helyzetéről és állapotáról. A mobilapplikáció feldolgozza a kesztyűtől érkező Hagdil gesztusleírók jelsorozatát, melyet érthető szöveggé alakít és hangosan felolvas. 

A szegmentálás révén létrehozott nyers szöveg még tartalmazza a felhasználó pontatlan jeleléséből és a hardver specialitásából eredő helyesírási hibákat. Az automatikus szövegjavító algoritmus ezt a nyers szöveget dolgozza fel és helyesbíti. Érthető szavakat és mondatokat formál, így a szöveg már egy beszédszintetizátor által hangosan felolvasható. Mivel a megvizsgált kész helyesírás-ellenőrzők nem képesek megoldani ezt a bonyolult feladatot, a kutatók saját automatikus szövegjavító algoritmust fejlesztettek ki.

A kutatók már a fejlesztés legkorábbi szakaszában bevontak siket és beszédkárosult embereket a tesztelésbe és véleményezésbe. A Tolmácskesztyű segédeszköz minél szélesebb körű elterjesztése érdekében az alkalmazást közzé teszik a legelterjedtebb  mobilplatformokon: Androidon, iOS-en és Windows Phone 8-on is.

A kesztyűben a Daktil ábécét és egyedi gesztusokat jelelhetünk, melyet a szoftveres feldolgozás szöveggé alakít és hangosan felolvas.

Bár az eszköz eredetileg a siket emberek mindennapjait hivatott támogatni, a fejlesztés során számos más fogyatékkal élő közösség (beszédsérültek, testi fogyatékkal élők vagy stroke utáni rehabilitáción résztvevők) segítésére is alkalmas lehet. Ezen új felhasználói igények feltárása és kiszolgálása jövőbeni projektek feladata.

Kiállítások

• InnoTrends 2013
• Telenor Okostelefon Akadémia 7.0, 2014.09.18

Egy korábbi magyar fejlesztésről, a fejegérről itt olvashat.