Mgr. Oleksandr Shekhovtsov, Ph.D.

Téma je na průsečíku strojového učení a počítačového vidění. Budete zkoumat metody a modely pro zacházení s různými druhy diskrétnosti v moderním statistickém strojovém učení: diskrétní proměnné, struktury, reprezentace, učeni s nediferencovatelnými ztrátami; a aplikovat je v počítačovém vidění. Hlavní aplikací je učení kvantizovaných neuronových sítí (QNN), kde jsou váhy a aktivace reprezentovány pouze několika bity. To nabízí obrovské úspory z hlediska nákladů na výpočet a energie a umožňuje provoz větších modelů v jednodušších zařízeních [1,2,5,6]. Výzvou je naučit se takové kvantované modely, aby bylo dosaženo vysoké účinnosti a přesnosti. Výzkum se zaměřuje na metody stochastické relaxace [3,4]. Pro kvantování moderních architektur potřebujeme vyvinout vhodné diskretizace váhových jader, zbytkových spojení, reprezentace, jako jsou dotazy a klíče v modelu pozornosti, který je základem transformeru, atd. Další aplikace by mohly být v modelech podmíněných výpočtů a při hledání architektury. Může být také žádoucí naučit se diskrétní reprezentace na výstupu neuronové sítě. Například pro aplikaci pro vyhledávání obrázků se chceme naučit kompaktní binární deskriptory, které lze efektivně ukládat a rychle porovnávat, tak abych podobné deskriptory odpovídalí sémanticky podobným objektům (kontrastivní učení). Tyto reprezentace mohou být latentní, jako u variačních autokodérů, a dokonce i strukturované (latentní syntaktické stromové struktury [7]). Důležitý je trénink s nediferencovatelnými ztrátami např. pro minimalizaci rizika při statistickém rozhodování [8].