Regularization methods in Probabilistic Neural Networks and General Regression Neural Networks
Autor(ka) práce:
Vinogradov, Grigorii
Typ práce:
Bachelor thesis
Vedoucí práce:
Šafr, Karel
Oponenti práce:
-
Jazyk práce:
English
Abstrakt:
This thesis investigates the application of regularization techniques in general regression neural networks (GRNN) and probabilistic neural networks (PNN). L1 and L2 regularization has been integrated into GRNN and PNN architectures using a Bayesian formulation of parameter estimation. In contrast to the standard kernel density estimation (KDE) approach, in this work the models were reformulated using a mixture of Gaussians for density estimation, allowing the models to move from a non-parametric to a parametric formulation with minimal changes in interpretation. The models were implemented in Python and their performance was evaluated on real-word datasets. In regression tasks, L1 and L2 regularization led to improvements in model performance, with mean square error reductions in the range of 3,02% to 4,04%. In classification tasks, accuracy improvements ranged from 0,36% to 4,44%. However, a slight performance decrease was observed in some datasets, suggesting that the effect of regularization is data-dependent.
Regularizační metody v Probabilistic Neural Networks a General Regression Neural Networks
Autor(ka) práce:
Vinogradov, Grigorii
Typ práce:
Bakalářská práce
Vedoucí práce:
Šafr, Karel
Oponenti práce:
-
Jazyk práce:
English
Abstrakt:
Tato bakalářská práce se zabývá aplikací regularizačních technik v general regression neural networks (GRNN) a probabilistic neural networks (PNN). Regularizace L1 a L2 byla integrována do architektur GRNN a PNN pomocí Bayesovské formulace odhadu parametrů. Na rozdíl od standardního přístupu jádrového odhadu hustoty (KDE) byly v této práci modely přeformulovány pomocí Gaussovských směsí pro odhad hustoty, což umožnilo modelům přejít z neparametrické formulace na parametrickou s minimálními změnami v interpretaci. Modely byly implementovány v jazyce Python a jejich výkonnost byla vyhodnocena na reálných datových sadách. V regresních úlohách vedla regularizace L1 a L2 ke zlepšení výkonnosti modelů se snížením střední kvadratické chyby v rozmezí 3,02% až 4,04%. V klasifikačních úlohách se přesnost zlepšila v rozmezí od 0,36% do 4,44%. V některých datových sadách však bylo pozorováno mírné snížení výkonu, což naznačuje, že účinek regularizace závisí na datech.
Klíčová slova:
regularizace; General Regression Neural Networks; Probabilistic Neural Networks; strojové učení
Informace o studiu
Studijní program / obor:
Matematické metody v ekonomii/Datové analýzy a modelování