doc. Mgr. Matěj Hoffmann, Ph.D.

Toto téma se zabývá neuromorfním snímáním a výpočty se zaměřením na vidění založené na událostech a spiking neuronové sítě pro robotické aplikace s nízkou spotřebou a nízkou latencí. Vidění je základní modalitou pro zvířata i roboty, která je nezbytná pro vnímání a interakci s prostředím. Běžné systémy vidění však spoléhají na získávání snímků s vysokou rychlostí a nepřetržité zpracování, což je činí výpočetně náročnými a energeticky náročnými, zejména ve scénářích aktivního vidění, které vyžadují neustálý vizuální vstup. Snímání založené na událostech poskytuje biologicky inspirovanou alternativu tím, že zachycuje pouze změny ve scéně. Výsledný řídký a asynchronní výstup výrazně snižuje latenci, spotřebu energie a redundanci dat a prokázal velký potenciál v robotických aplikacích v reálném čase. V kombinaci s neuromorfními výpočty (ne-von Neumannovými architekturami), které emulují zpracování podobné mozku prostřednictvím SNN, umožňují tyto architektury vysoce efektivní systémy pro vnímání a zpracování. Cílem tohoto výzkumu je vyvinout a nasadit nové algoritmy na robotických platformách, jako je humanoidní robot iCub. Konkrétní oblasti výzkumu zahrnují aktivní vidění, modulaci zisku, vizuální odometrii, detekci pohybu, vizuální pozornost, stereopsi, snímání řízené událostmi v modalitách, jako je dotek, a biologicky inspirované modely vnímání. Integrací snímání založeného na událostech s neuromorfním zpracováním si tato práce klade za cíl vyvinout robotické systémy vidění, které jsou adaptivní a energeticky účinné. Výsledné algoritmy přispějí k vývoji nové generace autonomních robotů schopných pracovat v reálném čase ve složitých dynamických prostředích.

Roboty opouštějí tovární oplocenky a začínají sdílet pracovní prostor s lidmi. Tím vzrůstá potřeba dynamicky se přizpůsobovat nepředvídatelným interakcím s lidmi a zároveň zaručit bezpečnost v každém okamžiku. Trh s kolaborativními roboty rychle roste, ale bezpečnost je zatím zajišťována jednoduchými ale omezujícími přístupy jako je fyzické omezení výkonu robotů či prosté zastavení při zjištění kontaktu s překážkou. Lidé naopak disponují uvědoměním si celého svého těla v prostoru založeném na dynamické fúzi multimodální senzorické informace, díky čemuž jsou adaptivní a flexibilní. Obohatíme fyzickou interakci člověka s robotem o nové aspekty: (1) využíváme nové umělé elektronické ,,kůže“; (2) rozšiřujeme prostor povrchu těla o prostor okolo něj, čímž vzniká „ochranná zóna“, která sleduje pohyb těla v prostoru (inspirovaná tzv. peripersonálním prostorem u lidí); (3) díky multimodální povaze našeho přístupu je k dispozici redundantní informace, což umožňuje průběžnou sebekalibraci a také rozhodování, které bere v potaz spolehlivost jednotlivých vstupů. Spolupracujeme s vůdčími výzkumnými centry v Evropě a také s průmyslovými partnery (např. KUKA Corporate Research, Airskin). https://sites.google.com/site/matejhof/research/cobots-and-hri https://sites.google.com/site/matejhof/research/touch-and-selfcalibration http://cmp.felk.cvut.cz/projects/body-schema

Význam vybavení robotů hmatovým vnímáním je již několik desetiletí považován za náročný úkol. Největší pozornost byla věnována hmatovému vnímání pro manipulaci (např. Lambeta et al. 2020), které umožňuje haptické nebo vizuálně-haptické zkoumání objektů (Navarro-Guerrero et al. 2023). V poslední době se stále větší pozornosti dostává umělým kůžím celého těla. Přestože doposud bylo vyvinuto velké množství technologií (přehled viz např. Bartolozzi et al. 2016), možnosti hmatového vnímání a elektronických kůží jsou stále omezené. Tato doktorská práce se zabývá novými oblastmi využití hmatového vnímání robotů při haptickém průzkumu, fyzické interakci člověka s robotem pro zajištění bezpečnosti (např. Švarný et al. 2022) a pro komunikaci v sociální robotice. Výzkum bude zahrnovat nová snímací a mechatronická řešení díky spolupráci s Fyzikálním ústavem Akademie věd ČR (https://www.fzu.cz) s využitím pokročilých materiálů a technologií taktilních senzorů (Kumar et al. 2022). Vedle hmatového snímání může být zkoumáno snímání blízkosti využívající kapacitní konstrukce nebo umělé fousky (whiskers). V neposlední řadě lze zkoumat nové biologicky inspirované způsoby zpracování hmatových dat (Liu et al. 2022).

Novorozenci pravděpodobně nevnímají své tělo jako celek, ale zpočátku sbírají korelace v proudu multimodálních dat z různých smyslů (zejména zrak, hmat a propriocepce). Struktura obsažená v těchto informacích jim pak umožňuje naučit se prvním modelům jejich těla v prostoru. Mechanismy za těmito procesy jsou z velké části neznámé. Ve spolupráci s vývojovými a kognitivními psychology a neurovědci (New Orleans, Paříž, Bielefeld) vyvíjíme výpočetní modely vtělené v humanoidních robotech, kde zkoumáme, jak se lze z vstupů z jednotlivých modalit (taktilní, proprioceptivní a vizuální) naučit reprezentace těla a prostoru okolo něj. Přístup k humanoidním robotům s umělou citlivou kůží představuje unikátní technologii, která tento výzkum umožňuje. Zároveň takto vytvořené algoritmy směřují k robotům, které mají lepší povědomí o celém svém těle, s možností aplikací v automatické kalibraci a bezpečné interakci člověka s robotem.