Od listopadu 2024 soutěžilo v rámci této nové výzvy deset elitních univerzitních týmů z celého světa. Cílem soutěže je zvýšit bezpečnost AI nástrojů pro asistované programování a vyvíjet nové metody pro automatizované testování jejich odolnosti proti zneužití – tzv. „red-teaming“. Osm nejlepších týmů nyní postoupilo do finále, kde představí špičková bezpečnostní řešení v oblasti AI-asistovaného vývoje softwaru – čtyři jako tzv. Obranné týmy (vývoj bezpečných AI modelů) a čtyři jako tzv. Útočné týmy (testování a hledání zranitelností).
Obranné týmy
-
Team AlquistCoder – České vysoké učení technické v Praze (ČVUT)
-
Team PurpCorn-PLAN – University of Illinois Urbana-Champaign (USA)
-
Team Lioncoders – Columbia University (USA)
-
Team Purpl3pwn3rs – Carnegie Mellon University (USA)
Útočné týmy
-
Team PurCL – Purdue University (USA)
-
Team SaFoLab – University of Wisconsin (USA)
-
Team RedTWIZ – NOVA University, Portugalsko
-
Team ASTRO – University of Texas at Dallas (USA)
V soutěži mají obranné týmy za úkol navrhnout modely schopné generovat bezpečný programovací kód (např. v jazyku Python), které zároveň odolají pokusům o zneužití. Na druhé straně stojí útočné týmy, které se snaží odhalit bezpečnostní slabiny těchto modelů. Základem je simulace realistických konverzací, ve kterých se testuje schopnost modelů odolávat zneužití nebo generování zranitelného kódu.
„Postup do finále z prvního místa vnímáme jako velký úspěch a potvrzení kvalitní a tvrdé práce celého našeho týmu. Máme radost, že se nám podařilo v silné mezinárodní konkurenci dosáhnout tohoto výsledku. Současně nás to motivuje ještě více se připravit na finále a dál zlepšovat naši technologii,” říká teamleader AlquistCoderu Ondřej Kobza.
Kdo tvoří tým AlquistCoder?
AlquistCoder je složený z výzkumníků a studentů z Českého institutu informatiky, robotiky a kybernetiky (CIIRC) a z Centra umělé inteligence Fakulty elektrotechnické ČVUT (AIC FEL). Tým vede Ondřej Kobza (CIIRC, FEL), odborně jej podporují Jan Šedivý (CIIRC) a Sebastian Garcia (AIC FEL). Na vývoji se podílejí také Adam Černý, Ivan Dostál (oba CIIRC), a výzkumníci Marie Rigaki a Muris Sladić z AIC FEL.
Tým ČVUT – Alquist AI se od roku 2017 úspěšně zúčastnil všech ročníků soutěže Amazonu, tehdy ještě pod názvem Alexa Prize Socialbot Grand Challenge a vždy se umístil na stupních vítězů, v roce 2021 tým dokonce získal zlatou medaili.
„Pro náš tým Alquist bylo neocenitelným přínosem mít možnost využívat obrovskou výpočetní sílu Amazonu. Získali jsme tak jedinečnou příležitost nabýt praktické zkušenosti s tréninkem středně velkého LLM, které pro nás budou velmi cenné v dalším výzkumu,” říká Jan Šedivý.
Soutěž jen pro špičku
Amazon Nova AI Challenge je určena pouze pro deset vybraných univerzitních týmů z celého světa. Mezi nimi nechybí jména jako Carnegie Mellon University, Columbia University nebo University of Illinois Urbana-Champaign – tedy absolutní špička akademického světa v oblasti umělé inteligence. Finálová osmička, kam AlquistCoder postoupil jako jasný lídr posledního turnaje, se utká ve dnech 26.–27. června 2025 v online turnaji zaměřeném na reálné scénáře bezpečnostních hrozeb v AI-asistovaném programování a proběhne pod dohledem expertů z týmů Amazon AGI, AWS Responsible AI, Amazon Security a dalších. Výsledky budou vyhlášeny na Amazon Nova AI Challenge Summitu v Seattlu ve dnech 22.–24. července 2025, kde týmy představí svá řešení a výzkumné výstupy.
Výhry, technologie a význam pro výzkum
Každý tým získal grant ve výši 250 000 dolarů, přístup ke špičkovým cloudovým zdrojům a technologiím včetně AI hardwaru AWS Trainium. Vítězné týmy si navíc odnesou dalších až 250 000 dolarů, přičemž Amazon do celého projektu investuje více než 5 milionů dolarů. Význam této soutěže však dalece přesahuje finance – jde o konkrétní přínos pro vývoj důvěryhodné a bezpečné AI, která může být bezpečně využívána v každodenním softwarovém vývoji.
Přejeme týmu AlquistCoder hodně úspěchů v soutěži a těšíme se na výsledky!
Původní znění článku - Finalist teams advance in the Amazon Nova AI Challenge: Trusted AI Track - Amazon Science
