Ing. David Kadleček, Ph.D.

Presented research integrates rigorous methods of reinforcement learning (RL) and control engineering with a behavioral (ethology) approach to the agent technology. The main outcome is a hybrid architecture for intelligent autonomous agents targeted to the Artificial Life like environments. The architecture adopts several biology concepts and shows that they can provide robust solutions to some areas.

This paper gives a concise overview how to design and test agent architecture enabling adaptive behavior of agents in Artificial Life (AL) environments. The AL environment is special in the sense that the agent's environment is very diverse and dynamic. Agent has to exhibit many different behaviors. The typical behaviors are foraging, mating, roaming, fighting, predator avoidance etc. The most important properties of agents in AL are adaptation, reactive behavior and survival. The experiments will be performed in simulations, where several model environments and preconfiguration of agents are tested in the existing ALS (Artificial Life Simulator) that has been developed to test the predecessor of the agent architecture presented here. A visualization framework has supported the analysis of the experiments. It allows better analysis of huge amount of data.

This paper is focused on agents-animates simulation and their environment. Proposed environment is meant to provide tool for anyone who wants to simulate his Artificial Life phenomena (agents, robots, animates etc.), and do not wants to bother with creation, design and implementation of environment. This referential environment can be used to measure different agent's behaviors created by different users. It also helps the creator to focus more on behavior and not to pay so much attention to simulation environment. It is obvious that one concrete implementation cannot be sufficient for everyone. For this purpose abstract architecture was proposed. This architecture allows designers to benefit from all mentioned above and gives him free hand if something is not exactly the way he wants it. It is a set of propositions and standards definitions and if creator sticks to these recommendations, he will be able to benefit from all of its advantages such as usage of existing external mod

Adaptation and real time behavior becomes a necessity for agents that want to survive in Artificial Life environments. The neurodynamic reinforcement learning approach - Q-learning where Q-factors are represented using neural networks, overcomes problems of the classical unsupervised algorithms. This research that is mainly focused on design of agent architectures for Artificial Life introduces the concepts of parallel and dynamic Q-spaces, where the learned Q-factors are divided into separate action-state spaces that correspond to independent behaviors. Q-factors are then combined across these spaces based on relationship among higher-level behaviors. A simulated Artificial Life environment with Artificial Life agents has been used as a test bed. The research is being conducted in the Artificial Life domain. The proposed techniques will be useful in different domains also.

This paper reviews key concepts of the new Czech Animal-Like Robot architecture - CZAR. This hybrid autonomous agents (robots) architecture was designed for the usage mainly in the ALife domain and combines knowledge-based and behavior-based approaches. Its structure, strengths as well as weaknesses, and roots in biology are presented. Particular focus is also placed on learning and adaptivity. A simplified ecosystem was created to test CZAR.

Analysis of an agent or agent communities advanced methods of visualization with traditional AI techniques.

This paper gives a concise overview to innovated lectures "Mobile Robots and their Control" (agents in general) inspired by artificial life (AL) approaches. The course organization is conformed primarily to the practical view. Entire topic of the course covers an important background for the mobile robot design. Syllabus and detailed lectures notes (working version) of innovated subject with plenty of ALife interactive simulations are published on pages http://cyber.felk.cvut.cz/gerstner/eth in order to utilize our teaching experience for the all persons concerned in Artificial Life applications

The extension of our research on analysis of a single agent or agent communities combining advanced methods of visualization with traditional AI techniques is presented in this paper. Even though this approach can be used for arbitrary Multi-Agent System (MAS), it was primarily developed to analyze systems falling into Artificial Life domain. Traditional methods are becoming insufficient as Multi-Agent Systems (MAS) are becoming more complex and therefore novel approaches are needed. In this paper we present an extension of our recent visualization tools suite. The previous approach was not suitable well to present the dynamics of the MAS, even though the progression of MAS state parameters in time was presented. Our new technique, which is presented in this paper, addresses this problem by visualizing the changes of the MAS along with their quality and context. This transparent approach emphasizes MAS dynamics by providing means for discovery of changes in its tendencies or in behavi

Článek popisuje analýzu virtuálních agentích společenství, kombinujíc vyspělé metody vizualizace s tradičními technikami UI. To umožňuje mnohem průhlednější vyhodnocení než současnými metodami. Vyvinuli jsme off-line vizualizační nástroj pro analýzu- (VAT). Cílem je zobrazit - vizualizovat chování jednotlivých agentů a analyzovat posléze jeho příčinu.

This paper reviews CZAR (Czech Animal-Like Robot) architecture. This hybrid Autonomous Agent Architecture was designed for the usage mainly in the Artificial Life domain and combines knowledge-based and behavior-based approaches. Its structure, strengths as well as weaknesses, and roots in biology are presented. CZAR has arisen as a result of a number of applications, where real robots with variety of control systems were tested and several biological systems were simulated.

Analysis of an agent or agent communities advanced methods of visualization with traditional AI techniques.

Článek popisuje analýzu virtuálních agentích společenství, kombinujíc vyspělé metody vizualizace s tradičními technikami UI. To umožňuje mnohem průhlednější vyhodnocení než současnými metodami. Vyvinuli jsme off-line vizualizační nástroj pro analýzu- (VAT). Cílem je zobrazit - vizualizovat chování jednotlivých agentů a analyzovat posléze jeho příčinu. Tyto metody mohou být použity v mobilní robotice, umělém životě, evolučních systémech, virtuálních akcích, medicíně a v obecných řídících procesech.

Článek popisuje náš výzkum nových přístupů při analýze Multi-agentních systémů pomocí vizualizace. To umožňuje mnohem průhlednější vyhodnocení než současnými metodami.Vyvinuli jsme off-line vizualizační nástroj pro analýzu- (VAT). Cílem je zobrazit - vizualizovat chování jednotlivých agentů a analyzovat posléze jeho příčinu.

Článek popisuje analýzu virtuálních agentích společenství, kombinujíc vyspělé metody vizualizace s tradičními technikami UI. To umožňuje mnohem průhlednější vyhodnocení než současnými metodami. Vyvinuli jsme off-line vizualizační nástroj pro analýzu- (VAT). Cílem je zobrazit - vizualizovat chování jednotlivých agentů a analyzovat posléze jeho příčinu. Tyto metody jsou výhodné v aplikacích, v mobilní robotice a umělém životě.

Článek podává základní přehled našeho výzkumu agentů a robotů, zahrnující návrhy, inspirované principy biologických systémů. Interakce s prostředím a dalšími biologickými systémy nastavuje nevázané parametry a spoluvytváří výsledné chování. Tyto celky nazýváme bioagenty nebo bioagenty, protože ztělesňují základní vzory - předlohy biologických systémů.

Článek odpovídá na otázku, proč se snažíme vytvořit realistické "jako živé" chování počítačově. Náš zájem o umělou biologii a umělý život obecně spočívá v konstrukci systému, vykazujícím emergenci a podporu složitosti a rozmanitosti za tím účelem porozumět evoluci komplikovaného "společenství" života.

Je popisována CZAR - hybridní architektura. Ta byla navržena pro oblast uměléhoo života a kombinuje přístupy založené na znalostech a na chování. Je presentována její struktura, přednosti, slabiny a první úspěšné simulace. Zvláštní pozornost je věnována učení a adaptivitě.

Je popsán náš návrh řídícího systému (opírající se o chování ) pro autonomní agenty s důrazem na vlastním řízení a vlastní motivaci aspektů řízení agentů. Ti mohou být reprezentovány simulovanými agenty - animáty nebo fyzickými roboty. Chování v přírodních systémech je reprezentováno vnitřními motivačními zdroji v nich.Abychom uskutečnili takový typ řízení pracujeme s kombinací reaktivních a deliberativních metod. Výhody takového motivačně založeného konceptu jsou ukázány na experimentech.

V tomto článku je popsáno naše pojetí řídícího systému autonomních agentů opírající se o chování. Tito agenti mohou být reprezentováni simulovanými živočichy - animáty nebo fyzickými roboty. Analýza architektury řízení agentů je zaměřena na základní aspekty samo-motivujícího se chování. Je představen návrh behaviorálního řídícího mechanizmu. Popsány jsou základní fáze v procesu " ohodnocování snímač - akce"