Implementace agenta Dyna-Q do testu algoritmického IQ
| Název práce: | Implementace agenta Dyna-Q do testu algoritmického IQ |
|---|---|
| Autor(ka) práce: | Marek, Ondřej |
| Typ práce: | Bakalářská práce |
| Vedoucí práce: | Vadinský, Ondřej |
| Oponenti práce: | Hoza, Petr |
| Jazyk práce: | Česky |
| Abstrakt: | Test algoritmického IQ je jedním z pokusů o vytvoření způsobu evaluace inteligence umělých systémů. Je založený na rámci posilovaného učení a algoritmické teorii informace, a s jeho pomocí je možné provést aproximaci univerzální inteligence mnoha typů umělých agentů. Účelem této práce bylo rozšíření implementace testu o plně funkčního agenta Dyna-Q, který je agentem posilovaného učení kombinujícím funkce algoritmu Q-learning s plánováním za pomoci modelu prostředí. Implementace byla navržena na základě existujících agentů použitých v testu a popisu Dyna-Q v existující literatuře. K její realizaci a zachycení všech potřebných funkcí agenta byl použit programovací jazyk Python. U agenta byla následně pomocí AIQ testu provedena základní evaluace. Evaluací bylo zjištěno několik vlastností chování tohoto algoritmu, jako lepší výsledky agenta při kratším plánování nebo preference vyšších diskontních faktorů s menší pravděpodobností náhodného výběru akcí. Je však kvůli omezenému rozsahu evaluace v AIQ testu možné, že jsou chybné či neúplné. |
| Klíčová slova: | test algoritmického IQ; Dyna-Q; algoritmus s modelem; evaluace inteligence umělých systémů; posilované učení |
| Název práce: | The Implementation of a Dyna-Q Agent into the Algorithmic IQ test |
|---|---|
| Autor(ka) práce: | Marek, Ondřej |
| Typ práce: | Bachelor thesis |
| Vedoucí práce: | Vadinský, Ondřej |
| Oponenti práce: | Hoza, Petr |
| Jazyk práce: | Česky |
| Abstrakt: | The Algorithmic IQ test is one of the attempts to create a method for evaluating the intelligence of artificial systems. It is based on the framework of reinforcement learning and algorithmic information theory, and it allows for an approximation of universal intelligence across many types of artificial agents. The aim of this thesis was to expand the implementation of the test by adding a fully functional Dyna-Q agent, which is a reinforcement learning agent that combines the Q-learning algorithm with planning using a model of the environment. The implementation was designed based on existing agents used in the test and the description of Dyna-Q in the literature. Python was used to implement and capture all the necessary functions of the agent. An initial evaluation of the agent was subsequently carried out using the AIQ test. The evaluation revealed several behavioural characteristics of this algorithm, such as better performance of the agent when using a lesser number of planning steps and a preference for higher discount factors with a lower probability of random action selection. However, due to the limited scope of the evaluation within the AIQ test, these findings may be incorrect or incomplete. |
| Klíčová slova: | model-based algorithm; evaluation of the intelligence of artificial systems; Dyna-Q; algorithmic IQ test; reinforcement learning |
Informace o studiu
| Studijní program / obor: | Aplikovaná informatika |
|---|---|
| Typ studijního programu: | Bakalářský studijní program |
| Přidělovaná hodnost: | Bc. |
| Instituce přidělující hodnost: | Vysoká škola ekonomická v Praze |
| Fakulta: | Fakulta informatiky a statistiky |
| Katedra: | Katedra informačního a znalostního inženýrství |
Informace o odevzdání a obhajobě
| Datum zadání práce: | 6. 12. 2024 |
|---|---|
| Datum podání práce: | 11. 5. 2025 |
| Datum obhajoby: | 17. 6. 2025 |
| Identifikátor v systému InSIS: | https://insis.vse.cz/zp/90683/podrobnosti |