Můj druhý hlas

Aplikace nejen pro zcela nemluvící.

Proč jsem se pustil do vývoje produktu?

Petr Novák se podporou lidí s různými hendikepy, zejména lidí s omezením schopností pohybu a s hlasovou indispozicí, zabývá již více než 10 let. Podílel se na několika i evropských projektech zaměřených právě na rozvoj asistivních technologií a vytváří rovněž aplikace pro různé domácí rehabilitace.

Hlasový hendikep může postihnout třeba pouze dočasně i jinak dříve zdravé lidi, například po operaci hlasivek nebo mozkových příhodách. Nejčastěji však souvisí s fyzickým či mentálním postižením. Problémy s mluvením mohou mít rovněž i lidé ve vysokém věku, kterým již není dobře rozumět. Na trhu (v české republice) není dostupná aplikace (v českém jazyce), která by dostatečně pokryla požadavky této skupiny lidí při jejich každodenní komunikaci s běžným okolím.

Aplikace Můj druhý hlas se snaží pomoci všem těmto skupinám lidí domluvit se se svým okolím. Respektuje rozličné potřeby a samozřejmě i schopnosti jednotlivých uživatelů. Tedy široké možnosti zadávání obsahu ke sdělení vyslovením od formy jednoduchých obrázků až po složitá předpřipravená slovní spojení a věty. Aplikace umožňuje se postupně vyvíjet spolu se svým uživatelem. Velkou potenciální skupinou uživatelů mohou být i různé školky a školy pro výuku dětí s různými problémy v komunikaci.

Jaké problémy svým zákazníkům řeší?

Řeč je pro člověka velmi důležitou schopností pro snadnou a hlavě rychlou každodenní komunikaci s okolím. Představuje tedy způsob jak celkem snadno a rychle sdělit i skutečně velké množství informací a to i několika lidem současně. Ti co jsou o tuto schopnost částečně nebo dokonce zcela ochuzeni, tak mají samozřejmě velmi ztížený kontakt s okolním světem.

Právě jako cílená pomoc těmto lidem vznikla aplikace Můj druhý hlas běžící pod nejrozšířenějším operačním systémem pro mobilní zařízení, tedy Google/Android. Uživatelé jej tak mohou používat na široké škále malých mobilních telefonů, nebo větších tabletů, tedy podle aktuální potřeby. Převod textu na řeč je využívám přímo z operačního systému, není tedy potřeba nic dalšího pořizovat.

Vytvořená aplikace s názvem Můj druhý hlas si klade dva hlavní cíle:

  • Spojení několika základních způsobů komunikace do nějakého vhodného celku.
  • Umožnit uživateli nejen co možná největší přizpůsobení aplikace, ale zejména vytvoření její náplně zcela podle vlastních potřeb.

Aplikace Můj druhý hlas poskytuje několik způsobů pro každodenní běžnou komunikaci s okolím:

  • Věty / fráze – Vyslovení předem připravených textů dotykem na ně.
  • Obrázky – Vyslovení libovolných textů (slova / věty) spojených s obrázky.
  • Slova / stručné věty – Sestavení jednoduché věty ze seznamu připravených slov.
  • Psaný text – Zápis vlastního textu (po písmenech) a jeho čtení podle potřeby.
  • Gesta – Vyslovení slov / vět podle trasy pohybu prstu po displeji.
  • Malování – možnost prstem rychle cokoli namalovat.

Obsah aplikace, tedy nejen všechny zobrazené texty / obrázky, ale samozřejmě i vyslovované texty, lze upravit a vytvořit zcela podle vlastní potřeby. V mnoha případech lze rovněž velmi modifikovat zobrazení a chování celé aplikace (a to i přímo na tabletu nebo mobilním telefonu). Rovněž je možno náplň do aplikace sdílet a stahovat z WWW.

Příklady použití aplikace

Uživatelé s velkou poruchou mluvení, ale dobrou pohyblivostí, kterým nedělá problémy rychle psát – primárně využijí převod psaného textu na řeč, s jistou nápovědou a predikcí.

Žáci a studenti a vlastně všichni uživatelé často využijí seznam předpřipravených slov a vět na dotyk, rozdělený do různých okruhů (nákup, škola, domov, …) v situacích, kdy nelze čekat na ruční zadávání textu (nákup jízdenky v autobuse).  

Uživatelům, kterým těžší fyzické postižení nedovolí zadávat text po jednotlivých písmenech, využijí rychlé vybírání předpřipravených slov ve sloupcích podle různých okruhů. Sestaví tak rychle různé věty podle aktuální situace.

Starší lidé například s pokročilou demencí využijí komunikaci pomocí obrázků – lidé při pohledu na známé ikony si uvědomují jejich významy a postupnou volbou obrázků se svým okolím komunikují.

Je vytvořena i možnost převodu „pohybových gest“ na vyslovované „věty“. Pohybem prstu po vhodném obrázku lze vyslovit množství informací, příklady pro obrázek člověka:

  • Sáhnu na hlavu, posunu prst vlevo – vysloví se „podívej se vlevo“
  • Sáhnu na botu, posunu prst mimo – vysloví se „vyzuj se“
  • Sáhnu pouze na hlavu – vysloví se „dívej se na mě“ nebo „poslouchej mě“

Přípravou vlastního souboru s texty či obrázky lze Můj2Hlas použít i pro zcela jiné účely:

Nemocnice – Lidi po operaci hlasivek mohou z připravených obrázků/textu odpovídat snadno na otázky lékaře.

Výuka dětí s různými poruchami mluvení a vyjadřování.

Vložení obrázkových říkanek / komunikačních symbolů – Výuka pro děti, jak sestavovat věty například pomocí komunikačních symbolů.

A další podle nápadů uživatelů. Takovéto možnosti stávající aplikace neposkytují a Můj2Hlas na telefonu či tabletu může být tedy velkou pomocí nemluvícím v mnoha každodenních situacích.

Fáze vývoje produktu

Aplikace je v současné době v testovacím režimu a tedy dostupná pouze omezenému / vybranému počtu uživatelů se základními technickými znalostmi pro poskytnutí zpětné vazby.

Po dobu několika měsíců bude probíhat testovací režim, poté bude aplikaci možné koupit přímo od ČVUT.

Podrobná specifikace

Obecné vlastnosti aplikace:

Nejzákladnějším režimem jsou „Věty / Fráze“. Jde o soubor vět nebo frází, tedy slovních spojení.

  • Jsou zobrazeny jako seznam, kterým lze posovat (nahoru/dolu) a dotykem prstu na příslušný text dojde k jeho vyslovení, tedy převodu tohoto textu na mluvenou řeč.
  • Lze zadat jiný text pro zobrazení (kratší) a jiný pro vyslovení (další).
  • Texty lze v seznamu seřadit podle vlastní priority a současně i obarvit, například pro vyjádření nálady (rychlé nalezení).
  • Jsou uspořádány do témat a dále do skupin, mezi nimiž lze snadno přecházet. Lze si tedy definovat například téma „Škola“ a v ní skupiny „Matematika“ a „Zeměpis“. Takto lze tedy vhodně rozdělit „Věty / Fráze“ na použití podle aktuální situace, omezit tím délky zobrazovaných seznamů a tak zvýšit rychlost nalezení požadovaného textu.
  • Současně lze „Věty / Fráze“ očíslovat a využít rychlou navigaci (číselnou, nebo hrubou) vhodnou zejména pro delší seznamy.

Druhým režimem jsou „Obrázky“. Jde v podstatě (většinou) o matici libovolných (menších) obrázků svázaných s texty vyslovenými při dotyku na příslušný obrázek.

  • Obrázek nemusí zastupovat pouze jedno vyslovené slovo, ale klidně celou větu nebo i mnohem delší text.
  • Ve většině případů jde o velmi rozšířené tzv. „komunikační piktogramy“ sloužící k vyjádření nejen nějaké potřeby, touhy, žádosti, ale i nálady.
  • Komunikační piktogramy však nejsou všechno. V mnoha situacích je potřeba si vytvořit vlastní obrázky například podle svého okolí: můj pokoj – „jdu do svého pokoje“, foto kamaráda – „jdu navštívit …“, atd. Lze použít i obrázky členů rodiny, například: obrázek babičky s otazníkem – „kde je babička“.
  • Obrázky jsou rovněž srovnány do témat a v nich dále do skupin. Lze určit obrázky pro přepínání těchto skupin a tak vytvořit celkem komplexní a propracovanou sadu obrázků / piktogramů pro rychlé dorozumění se v mnoha každodenních situacích.

Třetím režimem jsou „Slova“. Jedná se o způsob jak pomocí předpřipravených seznamů slov sestavit rychle jednoduché a tedy stručné věty.

  • Slova jsou zobrazena ve sloupcích, první sloupec obsahuje například zájmena (já, ty, on, …), druhý větný čas (byl, byla, byli, jsem, budu, …), třetí denní čas (ráno, poledne, večer, …), čtvrtý místo (doma, škola, …) atd.
  • Sloupců a počet slov není omezen (avšak s ohledem na přehlednost). Lze tedy z každého sloupce postupně vybrat (jedno) slovo dotykem.
  • Každé vybrané slovo je okamžitě přečteno (v současné verzi) a nečeká se tedy na výběr celé věty (je však připraveno). Takto lze tedy velmi rychle po slovech sestavit stručnou větu typu „já – budu – večer – doma“ což je mnohem snazší než ji psát.
  • Samozřejmě není nutno vybrat slovo z každého sloupce, třeba na otázky „Kde budeš večer?“, lze vybrat pouze slovo „Doma“. Seznamy slov tedy mohou sloužit i pouze pro rychlé odpovědi na otázky času, nebo místa.
  • Místo slov (z písmen) lze použít (malé) obrázky, například vhodné komunikační piktogramy a sestavovat větu jejich postupným výběrem. Toto může být velkou výhodou pro malé děti (ještě bez znalosti psaní / čtení), nebo lidí s omezenou schopností čtení / psaní.

Čtvrtý režim je „Psaní“. Vždy je potřeba vyslovit nějaký text, jenž není předem připravený. Pomocí obrazové písmenné klávesnice lze napsat v podstatě libovolný text a ten následně nechat vyslovit. I když se jedná o obyčejné psaní, tak poskytuje několik užitečných vymožeností.

  • Napsané texty lze uložit do souboru a kdykoli později zobrazit a použít (pro domácí úkoly, slohové cvičení).
  • Možnost psaný text ukládat až do pěti rychlých (pracovních) pamětí pro jeho snadné / rychlé vyvolání. Například příprava několika odpovědí při výuce ve škole.
  • Pro zrychlení psaní jsou „vychytávky“ jako vlastní zkratky, které se rozloží na delší text (napíši „JSM“, stisknu tlačítko a zobrazí se text „Jak se máš?“. Rovněž jsou před-připravená slova a věty (napíši první písmena, vyvolám seznam a vyberu slovo / větu).
  • Zcela unikátní jsou možnosti čtení, tedy převodu napsaného textu na řeč. Jsou dvě možnosti: pomocí obrazové klávesnice, nebo označením textu tahem prstu.
  • Klávesnicí se lze v textu pohybovat po slovech, větách nebo odstavcích a rovněž tuto část nechat kdykoli přečíst. Při čtení se kurzor posunuje za právě přečtený text a lze tedy spustit další (část) čtení, nebo cokoli zopakovat.
  • Text lze přečíst i jeho označením tahem prstu na displeji. Stručně řečeno tahem prstu barevně označit část textu (slovo, věta, odstavec) pro přečtení a ten bude vysloven. Průběh čtení je samozřejmě barevně signalizován.

Předposledním a zcela unikátním režimem jsou „Gesta“. Zde lze definovat v podstatě libovolné trasy pohybu prstu po displeji a každé z těchto tras je přiřazen vyslovovaný text.

  • Na pozadí je obrázek, na kterém jsou vytvořeny značky (místa). Požadovaným posloupnostem značek jsou přiřazena slova, nebo věty, jež se mají vyslovovat.
  • Pokud uživatel uskuteční tah prstem přes určité značky na obrázku, tak je vysloveno slovo / věta přiřazená k posloupnosti těchto značek.
  • Takto lze vytvořit a poté vyvolat před-připravené věty v mnoha variacích. Příkladem může být vysvětlení cesty metrem (názvy stanic, přestupy, …). Záznam pro gesta lze vytvořit zcela vlastní (obrázek, posloupnosti, slova / věty).

Posledním režimem je „Malování“. Jde o zcela triviální plochu, kde lze s výběrem čtyř dostupných barev něco velmi stručně nakreslit.

  • I když se v tomto případě nejedná přímo o hlasovou komunikaci (jde pouze o kresbu), tento způsob vyjádření může být velmi efektivní / nápomocný, a proto byl do aplikace zahrnut.
  • jednoduchý nákres cesty od zastávky BUSu ke dveřím domu je často mnohem rychlejší a pochopitelnější než psaní / tvorba textu a jeho následné čtení.
  • Příkladem využití může být i velmi stručné psaní, například chci někomu dát telefonní číslo. Rychleji jej v podstatě prstem nakreslím přes obrazovku, než napíši na klávesnici jako malé číslice.

Při čtení jakéhokoliv textu je v horní části velké červené tlačítko s informací o probíhajícím čtení. To slouží nejen k ukončení / přerušení čtení, ale hlavně je indikací pro slabě slyšící osoby, zda požadované čtení textu skutečně probíhá a jak dlouho trvá (před zahájením dalšího).

Možnost doplnění obsahu podle vlastní potřeby

Zřejmě největší výhodou aplikace je možnost si v podstatě všechny texty / obrázky upravit nebo doplnit zcela podle vlastní potřeby. Aplikace ve skutečnosti pracuje jako „mustr / interpreter“ pro zobrazení / činnost podle nějaké zadané konfigurace.

  • Náplň je tedy vytvořena formou (jednoduchých) textových souborů obsahující informace co kde se zobrazuje, případně i jak se zobrazuje a jaké texty, při jaké akci se převádí na mluvenou řeč.
  • Základní soubory (věty/obrázky/slova) vytvoří i osoba s minimem znalostí výpočetní techniky (jde pouze o text). Samozřejmě některé soubory, například pro gesta, jsou poněkud složitější.
  • Vytvořené náplně pro aplikaci (například podle typu uživatelů) lze umístit na WWW a uživatelé si je mohou podle potřeby / výběru stahovat. Ty mohou být na WWW pro přehlednost rozděleny podle jména tvůrce / autora a obsahovat i podmíněný přístup (heslem, například pro speciální použití). Z WWW si lze samozřejmě stáhnout třeba pouze jeden soubor pro komunikaci pomocí obrázků a to od vybraného autora.
  • Na WWW lze umístit například obsah potřebný / připravený pro výuku a umožnit žákům stáhnout si komunikační obrázky využívané při výuce v konkrétní škole.

Mnoho schopností aplikace je skryto v jejím nastavení

Nejen obsah, ale i vzhled aplikace lze velmi přizpůsobit potřebám uživatele.

  • Nastavit základní parametry jako velikosti / barvy textů, mezera mezi větami při čtení nebo skrýt režimy nevhodné / složité pro daného uživatele a tím aplikaci značně zpřehlednit.
  • Nastavení stylu / způsobu dotyku. Lze tedy zadat, jaký čas je potřeba položku (text, obrázek) podržet pro její přečtení a tím eliminovat nežádoucí třes ruky uživatele. Pro velký třes ruky je možno nastavit režim, kdy lze prstem po displeji pouze posouvat (bez jeho zvednutí) a na zadaný čas se pouze zastavit na požadované položce.
  • Nastavení je velmi komplexní (množství položek / schopností) a stále se rozšiřuje. Tedy nejen obsah, ale i přizpůsobení aplikace je velmi důležitou součástí pro její vhodné použití a rozšíření.

Zlepšení využití a práce s aplikací

V mnoha případech nemusí být zvuk / hlas vycházející z tabletu / telefonu dostatečně silný, tak aby byl dobře slyšitelný pro okolí, zejména v městské dopravě. S tabletem / telefonem lze spárovat (přes BlueTooth) jakýkoli bezdrátový bateriový reproduktor zavěšený například na krku uživatele. Tímto se nejen znatelně zesílí produkovaný hlas, ale současně zvuk / hlas bude vycházet blíže k obličeji uživatele a tím se vytvoří mnohem lepší dojem, kdo to vlastně mluví.

Pokud je potřeba psát například domácí úkol, tedy delší text, lze využít vhodnou bezdrátovou klávesnici spárovanou (přes BlueTooth) k tabletu / telefonu. Toto může být vhodné i pro jakoukoli školní výuku, zejména pro psaní domácích úkolů.

Připravované schopnosti aplikace

Vždy jsou situace, kdy není možno aplikaci použít, tak jednoduše jak bylo původně zamýšleno. Proto se aplikace stále vyvíjí a jsou připravovány některé její další schopnosti:

Velmi obtížná situace nastane například v nepříjemném venkovním prostředí, kdy je člověk oblečen v zimní bundě a na rukou má teplé rukavice. Velmi obtížně se ovládá dotyková aplikace na displeji telefonu. Mobilní telefon dnes obsahuje tzv. NFC (Near Field Communication) čtečku / detektor a lze velmi levně zakoupit tzv. NFC nálepky. Ty je možno vhodně všít / vlepit na oblečení, například na rukávy. Aplikace v mobilním telefonu automaticky detekuje jeho přiložení na NFC nálepku a je schopna vyslovit předem nastavenou frázi / větu. Takto si lze připravit věty jako „Pomůžete mi nastoupit (do BUSu)“ pro nemluvícího vozíčkáře. Případně „Chtěl bych koupit toto (ukazujíce druhou rukou na …)“ v obchodě. NFC štítky lze nalepit na cokoli třeba tašku, nebo dokonce přímo někde na invalidní vozík (ne však na kovu). Štítků může být libovolný počet potřeb uživatele. Takto lze tedy velmi rychle reagovat na vzniklou situaci.

Tento styl rychlé komunikace může být rovněž využít i v domácím prostředí. Představme si NFC štítky nalepená na ledničce, případně kdekoli po bytě s texty například „Je potřeba koupit mléko“, nebo „Opět dochází pomerančový džus“. Je sice potřeba mít stále u sebe mobilní telefon (pro jeho přiložení na štítek a vyslovení zadaného textu), ale pro tyto lidi lze toto považovat za samozřejmost.

Nebude (snad) zapomenuto ani na osoby mající současně nějaké větší omezení pohyblivosti, tedy zejména osoby s poruchou jemné motoriky, pro které je přesný dotyk na displej nezvládnutelný. Aplikaci lze spustit na libovolném Mini-PC s Google/Android (například multimediální centrum) připojeném k běžnému monitoru nebo TV. Pro ovládání aplikace lze využít několik možností (s připojením přes USB/BlueTooth): sada až pěti tlačítek pod prsty, (malý) joystick jako na invalidním vozíku, nebo pohybový senzor umístěný například na zápěstí ruky. Takto jsou sice v aplikaci dostupné všechny režimy kromě malování, ale některé jsou samozřejmě poněkud omezeny. Pomocí externího ovládání se lze tedy pohybovat po větách, obrázcích, nebo napsat vlastní text a ten nechat vyslovit. Tímto stylem mohou aplikaci používat lidé nejen s řečovým, ale současně i s pohybovým omezením.

Máte o tuto technologii zájem?

V případě zájmu o naše technologie, produkty a služby kontaktujte telefonicky nebo e-mailem koordinátora pro transfer technologií:

Za stránku zodpovídá: Ing. Mgr. Radovan Suk