Loosely Symmetric Neural Network Implementation

Thesis title: Loosely Symmetric Neural Network Implementation
Author: Formánková, Lucie
Thesis type: Bachelor thesis
Supervisor: Kliegr, Tomáš
Opponents: Berka, Petr
Thesis language: English
Abstract:
Insufficient or imbalanced data are a common issue, e.g., in healthcare where the data is limited to protect personal data and privacy. This imbalance results in classifiers' poor performance as they usually prioritize the majority class during classification. The artificial neural network requires a large amount of well-prepared balanced data. Human beings, on the other hand, can extract new information even from a few. This thesis deals with the implementation of cognitive biases into neural networks, which should help the model imitate human learning. The loosely symmetric model designed by Taniguchi et al. had been tested before by authors in the language R and achieved the best results from all tested models. During this thesis, the implementation was created in Python as there is no other available. The thesis contains a theoretical introduction to machine learning, the fit algorithm of the neural network, the loosely symmetric model description, including created variants, and the evaluation. During the evaluation of the spam classification, the new LSNN implementation managed to keep up with the model LSNB and even achieved better performance than the eLSNB model, which performed best on the same dataset in previous research. However, the method of "enhancement" is not clearly explained in the original description. Therefore, it is unknown whether this model is the correct implementation of the original design of the LSNN model. This implementation of the LSNN model proved its potential. However, the fit process could be further extended with the method of early stopping.
Keywords: cognitive biases; imbalanced data; artificial neural network; spam
Thesis title: Loosely Symmetric Neural Network Implementation
Author: Formánková, Lucie
Thesis type: Bakalářská práce
Supervisor: Kliegr, Tomáš
Opponents: Berka, Petr
Thesis language: English
Abstract:
Nedostatečná nebo nevyrovnaná data jsou častým problémem např. ve zdravotnictví, kde jsou data omezena kvůli ochraně osobních údajů a soukromí. Takovýto nepoměr má za následek snížení výkonnosti klasifikátorů, protože často dávají přednost klasifikaci majoritní třídy. Umělá neuronová síť při učení vyvažuje velké množství dobře připravených vyvážených dat. Naproti tomu lidé dokážou získat novou informaci i z mála dat. Tato práce se zabývá implementací kognitivních zkreslení do neuronových sítí, díky které by měl model více napodobovat lidský způsob učení. Model loosely symmetric neural network navržený Taniguchi et al. už byl dříve otestovaný autory v jazyce R a dosáhl nejlepších výsledků z ostatních testovaných. Protože implementace není dostupná, během této práci došlo k jejímu vytvoření v jazyce Python. Práce obsahuje teoretický úvod do strojového učení, popis algoritmu učení neuronových sítí a loosely symmetric modelu včetně vytvořených variant, a evaluaci. Během evaluace na problematice klasifikace spamu, nová implementace LSNN dokázala držet krok s modelem LSNB a dokonce měla lepší výsledky než model eLSNB, který byl dříve vyhodnocen na stejném datasetu jako nejlepší. Způsob „vylepšení“, ale není v původním popise jednoznačně vysvětlen. Není proto jasné, zda je model správnou implementací původního návrhu modelu LSNN. Tato implementace LSNN modelu dokázala svůj potenciál, proces učení by ale mohl být dále vylepšen doplněním metody předčasného ukončení trénování.
Keywords: umělá neuronová síť; kognitivní zkreslení; nevyvážená data; spam

Information about study

Study programme: Aplikovaná informatika/Aplikovaná informatika
Type of study programme: Bakalářský studijní program
Assigned degree: Bc.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 9. 7. 2020
Date of submission: 9. 5. 2021
Date of defense: 14. 6. 2021
Identifier in the InSIS system: https://insis.vse.cz/zp/73714/podrobnosti

Files for download

    Last update: