Explorative analysis of the effects of hyperparameters on Q-learning in the test of Algorithmic IQ
Autor(ka) práce:
Dlouhý, Matyáš
Typ práce:
Bachelor thesis
Vedoucí práce:
Vadinský, Ondřej
Oponenti práce:
Máša, Petr
Jazyk práce:
English
Abstrakt:
This thesis explores how Q-learning hyperparameter configurations affect Q-learning performance in the Algorithmic Intelligence Quotient (AIQ) test. Using a dataset of 945 configurations across 100,000 interactions and 10,000 environments within the test, four analytical approaches are applied: regression models, decision trees, time series analysis and association rule mining. The findings show that learning and exploration rate influence short- and long-term performance, with higher values enabling fast initial improvement but lower values leading to stronger later AIQ scores. Upper extreme values of discount factor and eligibility trace decay rates were found to severely hinder performance, especially when combined with high learning rates. The analyses also reveal compensatory relationships between hyperparameters, namely the learning rates, eligibility trace decay rates and discount rates. Extreme upper values of gamma or lambda are not detrimental to performance on their own, but they do result in poor performance when not compensated by a moderate value of the other parameter. Higher learning rates similarly demand smaller eligibility trace decay rates. Finally, a Python script implementing the full suite of analyses was developed, allowing the same exploratory procedure to be applied to new AIQ test data with other agents, opening an avenue for future refinement and research.
Klíčová slova:
Universal Intelligence; Reinforcement Learning Agents; Q-learning; Time Series; Association Rules; AIQ test; Hyperparameters; Exploratory Data Analysis; Regression; Decision Trees
Název práce:
Explorativní analýza vlivu nastavení hyperparametrů agenta Q-learningu v testu algoritmického IQ
Autor(ka) práce:
Dlouhý, Matyáš
Typ práce:
Bakalářská práce
Vedoucí práce:
Vadinský, Ondřej
Oponenti práce:
Máša, Petr
Jazyk práce:
English
Abstrakt:
Tato práce zkoumá, jak konfigurace hyperparametrů Q-learningu ovlivňují výkon Q-learningu v testu algoritmického inteligenčního kvocientu (AIQ). Na základě datového souboru 945 konfigurací v rámci 100 000 interakcí a 10 000 prostředí v rámci testu jsou použity čtyři analytické přístupy: regresní modely, rozhodovací stromy, analýza časových řad a těžba asociačních pravidel. Výsledky ukazují, že alfa (learning rate) a epsilon (exploration rate) ovlivňují krátkodobý a dlouhodobý výkon, přičemž vyšší hodnoty umožňují rychlé počáteční zlepšení, ale nižší hodnoty vedou k silnějším pozdějším hodnotám AIQ. Bylo zjištěno, že extrémně vysoké hodnoty gamy (discount factor) a lambdy (eligibility trace decay rate) výrazně zhoršují výkon, zejména v kombinaci s vysokou alfou. Analýzy také odhalují kompenzační vztahy mezi hyperparametry, konkrétně alfou, lambdou a gamou. Extrémní horní hodnoty gamy nebo lambdy samy o sobě nejsou škodlivé pro výkon, ale vedou k špatnému výkonu, pokud nejsou kompenzovány umírněnou hodnotou druhého parametru. Vyšší hodnoty alfy podobně vyžadují menší lambdu. Nakonec byl vyvinut skript v jazyce Python, který implementuje celou sadu analýz, což umožňuje použít stejný průzkumný postup na nová testovací data AIQ s jinými agenty, což otevírá cestu pro budoucí zdokonalování a výzkum.