IKEA Efect v Modelech Strojového Učení Založených na Pravidlech

Název práce: Ikea effect in rule-based machine learning models
Autor(ka) práce: Bundur, German
Typ práce: Diploma thesis
Vedoucí práce: Kliegr, Tomáš
Oponenti práce: Bahník, Štěpán
Jazyk práce: English
Abstrakt:
This thesis tries to evaluate the effect of a selected cognitive bias on the interpretability of rule-based machine learning models. This thesis focuses on the "IKEA effect" bias, according to which people assign a higher value to things that they created or partially created. Applied to machine leaning models, the hypothesis investigated in this thesis is that models that people had a chance to edit or improve will be more plausible and comprehensible than those where such opportunity was not provided. To test this hypothesis, the crowdsourcing experiment was carried out. In these experiments, participants had to evaluate the plausibility of rules automatically generated by the Apriori algorithm. One group of participants was additionally invited to use a rule editor to improve the rules. In this preliminary study, no difference in the elicited comprehensibility and plausibility ratings were observed. The data for statistical analysis provided by the crowdsourcing platform accounts for 120 answers with an equal sample size distribution between control and experimental groups processed through the selection procedure. Applying t-test and the non-parametric test shows the p-values that did not allow to reject the null hypothesis. However, the test of effect size shows a small effect for both aspects of interpretability. The advice for future works is to create more experiments using various rule sets from different topics and involve more people to achieve higher accuracy in statistics to obtain a more reliable result.
Klíčová slova: interpretability; plausibility; comprehensibility; crowdsourcing platform; cognitive bias; survey; IKEA effect; rule-based models
Název práce: IKEA Efect v Modelech Strojového Učení Založených na Pravidlech
Autor(ka) práce: Bundur, German
Typ práce: Diplomová práce
Vedoucí práce: Kliegr, Tomáš
Oponenti práce: Bahník, Štěpán
Jazyk práce: English
Abstrakt:
Tato práce se pokouší vyhodnotit vliv vybraného kognitivního zkreslení na interpretovatelnost modelů strojového učení založeného na pravidlech. Tato práce se zaměřuje na zkreslení „efekt IKEA“, podle kterého lidé přiřadí vyšší hodnotu věcem, které vytvořili nebo částečně vytvořili. Při použití na modely opírající se o stroj je v této práci zkoumána hypotéza, že modely, které lidé měli šanci upravit nebo vylepšit, budou věrohodnější a srozumitelnější než ty, u nichž taková příležitost nebyla poskytnuta. K otestování této hypotézy byl proveden experiment crowdsourcingu. V těchto experimentech museli účastníci vyhodnotit věrohodnost pravidel automaticky generovaných algoritmem Apriori. Jedna skupina účastníků byla navíc vyzvána, aby pomocí pravidel vylepšila pravidla. V této předběžné studii nebyl pozorován žádný rozdíl v hodnocení vyvolané srozumitelnosti a věrohodnosti. Data pro statistickou analýzu poskytovaná platformou crowdsourcingu představují 120 odpovědí se stejným rozdělením velikosti vzorku mezi kontrolní a experimentální skupiny zpracované prostřednictvím výběrového řízení. Uplatnění t-testu a neparametrického testu ukazuje hodnoty p, které neumožnily odmítnout nulovou hypotézu. Test velikosti účinku však ukazuje malý účinek pro oba aspekty interpretovatelnosti. Doporučení pro budoucí práce je vytvořit více experimentů s použitím různých sad pravidel z různých témat a zapojit více lidí, aby dosáhli vyšší přesnosti ve statistice a získali spolehlivější výsledek.
Klíčová slova: kognitivní zkreslení; interpretovatelnost; IKEA efect; modely založené na pravidlech; věrohodnost; srozumitelnost; crowdsourcingová platforma; průzkum

Informace o studiu

Studijní program / obor: Aplikovaná informatika/Information Systems Management
Typ studijního programu: Magisterský studijní program
Přidělovaná hodnost: Ing.
Instituce přidělující hodnost: Vysoká škola ekonomická v Praze
Fakulta: Fakulta informatiky a statistiky
Katedra: Katedra informačního a znalostního inženýrství

Informace o odevzdání a obhajobě

Datum zadání práce: 2. 9. 2020
Datum podání práce: 24. 6. 2021
Datum obhajoby: 24. 8. 2021
Identifikátor v systému InSIS: https://insis.vse.cz/zp/73938/podrobnosti

Soubory ke stažení

    Poslední aktualizace: