Regularization Techniques for Convolutional Neural Networks in Classification: An Empirical Comparison
| Thesis title: | Regularization Techniques for Convolutional Neural Networks in Classification: An Empirical Comparison |
|---|---|
| Author: | Danko, Lukáš |
| Thesis type: | Bachelor thesis |
| Supervisor: | Zamazal, Ondřej |
| Opponents: | Vacura, Miroslav |
| Thesis language: | English |
| Abstract: | This thesis investigates the effectiveness of regularization techniques for convolutional neural networks, specifically for image classification. Overfitting remains one of the biggest challenges when creating a working neural network, particularly if it is a deep neural network or when working with complex training data. A wide range of regularization techniques have been created, five were selected for evaluation in this thesis: Label Smoothing, DropBlock, SaliencyMix, Stochastic Weight Averaging (SWA) and Sharpness Aware Minimization (SAM). Experiments are conducted across two datasets: Oxford-IIIT Pet and STL10 and two architectures: ResNet-18 and a custom simple CNN. This allows for a fair comparison across different levels of model complexity and dataset difficulty. An additional experiment was conducted using 20% of the training data to test the techniques under the condition of limited training data. The results show that Label Smoothing achieved the best average test accuracy, while DropBlock achieved the best balance between test accuracy and generalization gap. SaliencyMix showed inconsistency, performing well on the simpler dataset and poorly on the more difficult one. SAM severely overfitted when used with ResNet-18, likely due to the short training length, while SWA underperformed relative to expectations, most likely due to the limited number of epochs. When faced with limited training data, data augmentation techniques, SaliencyMix, showed a large improvement over the other techniques, which is consistent with literature. The conclusion of this thesis is that no single regularization technique is the best across all datasets and architectures, and their selection needs to be carefully guided by every aspect of the neural network and dataset. |
| Keywords: | regularization techniques; neural networks; image classification; deep learning |
| Thesis title: | Regularizační Techniky pro Konvoluční Neuronové Sítě v Klasifikaci: Empirické Srovnání |
|---|---|
| Author: | Danko, Lukáš |
| Thesis type: | Bakalářská práce |
| Supervisor: | Zamazal, Ondřej |
| Opponents: | Vacura, Miroslav |
| Thesis language: | English |
| Abstract: | Tato práce se zabývá efektivností regularizačních technik v konvolučních neuronových sítích, přesněji těch pro rozpoznávání obrazu. Jednou z největších překážek při vytváření neuronových sítí je přeučení, zejména jedná-li se o hlubokou neuronovou síť a nebo když se pracuje s komplexními trénovacími daty. Existuje mnoho regularizačních technik, tato práce zkoumá pět z nich: Label Smoothing, DropBlock, SaliencyMix, Stochastic Weight Averaging (SWA) a Sharpness Aware Minimization (SAM). Experimenty byly provedeny na dvou datasetech: Oxford-IIIT Pet a STL10 a na dvou architekturách: ResNet-18 a na ručně vytvořené jednoduché konvoluční síti CNN. To umožnilo férové testování napříč různými složitostmi modelů a obtížnostmi datasetů. Kromě toho byl proveden další experiment, ve kterém bylo použito 20 % trénovacích dat k otestování regularizačních technik za podmínek limitovaných trénovacích dat. Výsledky ukazují, že Label Smoothing měl nejlepší průměrné testovací výsledky, zatímco DropBlock měl nejlepší rovnováhu mezi testovými výsledky a mezerou v generalizaci. SaliencyMix byl velice nekonzistentní, na jednoduchém datasetu si vedl dobře, ale na složitém si vedl špatně. SAM se přeučil, když byl trénován na architektuře ResNet-18, nejspíše kvůli krátkému času trénování, zatímco SWA si vedl hůře, než bylo očekáváno, pravděpodobně z důvodu nízkého počtu trénovacích epoch. V experimentu s 20 % trénovacích dat si vedl nejlépe SaliencyMix, což je konzistentní s literaturou. Výsledky této práce ukazují, že neexistuje jedna nejlepší regularizační technika, protože je nutné brát v potaz každý aspekt neuronové sítě a používaného datasetu. |
| Keywords: | neuronové sítě; klasifikace obrazu; hluboké učení; regularizační techniky |
Information about study
| Study programme: | Data Analytics |
|---|---|
| Type of study programme: | Bakalářský studijní program |
| Assigned degree: | Bc. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information and Knowledge Engineering |
Information on submission and defense
| Date of assignment: | 1. 4. 2025 |
|---|---|
| Date of submission: | 9. 5. 2026 |
| Date of defense: | 15. 6. 2026 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/92057/podrobnosti |