Interpretation of black-box predictive models focused on categorical variables
Thesis title: | Interpretation of black-box predictive models focused on categorical variables |
---|---|
Author: | Matějka, Jonáš |
Thesis type: | Diploma thesis |
Supervisor: | Máša, Petr |
Opponents: | Sýkora, Lukáš |
Thesis language: | English |
Abstract: | The thesis evaluates the usability of major methods for interpreting black-box predictive models on categorical variables to provide a comprehensive comparison. The main goal is methods summarisation, application on categorical datasets, usability evaluation and comparison. The first theoretical part introduces categorical variables and their challenges in machine learning (ML). Afterwards, the concept of explainable AI (XAI) and its relation to the interpretability of black-box ML models are discussed. Interpretability is further described to provide readers with the necessary background knowledge to comprehend the context in the practical part. Subsequently, major methods for ML interpretability are presented, and the theoretical part concludes by defining observation criteria for methods usability on categorical variables. The following practical part applies interpretability methods on two black-box predictive models, each trained on a different categorical dataset. The methods are implemented in the interactive Jupyter notebook environment using Python. The results of the methods are initially interpreted in detail and then summarised for the usability evaluation. Each method is assessed according to predefined criteria highlighting its key features for categorical variables. Furthermore, the strengths and weaknesses of the methods in terms of categorical variables are also analysed. The conclusion of the thesis summarises the key findings of the research and discusses the goal fulfilment, thesis limitations or further research. The outcome is the usability comparison of interpretability methods on categorical variables, including evaluating their strengths and weaknesses for these variables. |
Keywords: | XAI; black-box; interpretable ML; Python; categorical variables |
Thesis title: | Interpretace black-box prediktivních modelů zaměřená na kategoriální proměnné |
---|---|
Author: | Matějka, Jonáš |
Thesis type: | Diplomová práce |
Supervisor: | Máša, Petr |
Opponents: | Sýkora, Lukáš |
Thesis language: | English |
Abstract: | Diplomová práce hodnotí použitelnost hlavních metod pro interpretabilitu predikčních modelů černé skříňky na kategoriálních proměnných, aby poskytla jejich komplexní srovnání. Hlavním cílem je shrnutí metod, jejich aplikace na kategoriálních souborech dat, vyhodnocení použitelnosti a porovnání. První teoretická část představuje kategoriální proměnné a jejich výzvy ve strojovém učení (ML). Poté je diskutován koncept vysvětlitelné umělé inteligence (XAI) a jeho vztah k interpretabilitě ML modelů typu černé skříňky. Interpretabilita je dále popsána tak, aby čtenáři poskytla potřebné základní znalosti pro pochopení souvislostí v praktické části. Následně jsou představeny hlavní metody interpretability ML a teoretická část je zakončena definováním pozorovacích kritérií pro použitelnost metod na kategoriálních proměnných. Následující praktická část aplikuje metody interpretability na dva prediktivní modely černé skříňky, z nichž každý je natrénován na jiném souboru kategoriálních dat. Metody jsou implementovány v interaktivním prostředí Jupyter notebook pomocí jazyka Python. Výsledky metod jsou nejprve podrobně interpretovány a poté shrnuty pro účely hodnocení použitelnosti. Každá metoda je hodnocena podle předem stanovených kritérií, která zdůrazňují její klíčové vlastnosti pro kategoriální proměnné. Dále jsou také analyzovány silné a slabé stránky metod z hlediska kategoriálních proměnných. Závěrečná část práce shrnuje klíčová zjištění výzkumu a pojednává o splnění cíle, omezení práce a možnostech dalšího výzkumu. Výsledkem je porovnání použitelnosti metod interpretability na kategoriálních proměnných a zhodnocení jejich silných a slabých stránek pro tyto proměnné. |
Keywords: | black-box; interpretabilita ML; kategoriální proměnné; Python; XAI |
Information about study
Study programme: | Znalostní a webové technologie |
---|---|
Type of study programme: | Magisterský studijní program |
Assigned degree: | Ing. |
Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
Faculty: | Faculty of Informatics and Statistics |
Department: | Department of Information and Knowledge Engineering |
Information on submission and defense
Date of assignment: | 17. 6. 2024 |
---|---|
Date of submission: | 1. 12. 2024 |
Date of defense: | 20. 1. 2025 |
Identifier in the InSIS system: | https://insis.vse.cz/zp/88697/podrobnosti |