Regularization Techniques for Convolutional Neural Networks in Classification: An Empirical Comparison

Thesis title: Regularization Techniques for Convolutional Neural Networks in Classification: An Empirical Comparison
Author: Danko, Lukáš
Thesis type: Bachelor thesis
Supervisor: Zamazal, Ondřej
Opponents: Vacura, Miroslav
Thesis language: English
Abstract:
This thesis investigates the effectiveness of regularization techniques for convolutional neural networks, specifically for image classification. Overfitting remains one of the biggest challenges when creating a working neural network, particularly if it is a deep neural network or when working with complex training data. A wide range of regularization techniques have been created, five were selected for evaluation in this thesis: Label Smoothing, DropBlock, SaliencyMix, Stochastic Weight Averaging (SWA) and Sharpness Aware Minimization (SAM). Experiments are conducted across two datasets: Oxford-IIIT Pet and STL10 and two architectures: ResNet-18 and a custom simple CNN. This allows for a fair comparison across different levels of model complexity and dataset difficulty. An additional experiment was conducted using 20% of the training data to test the techniques under the condition of limited training data. The results show that Label Smoothing achieved the best average test accuracy, while DropBlock achieved the best balance between test accuracy and generalization gap. SaliencyMix showed inconsistency, performing well on the simpler dataset and poorly on the more difficult one. SAM severely overfitted when used with ResNet-18, likely due to the short training length, while SWA underperformed relative to expectations, most likely due to the limited number of epochs. When faced with limited training data, data augmentation techniques, SaliencyMix, showed a large improvement over the other techniques, which is consistent with literature. The conclusion of this thesis is that no single regularization technique is the best across all datasets and architectures, and their selection needs to be carefully guided by every aspect of the neural network and dataset.
Keywords: regularization techniques; neural networks; image classification; deep learning
Thesis title: Regularizační Techniky pro Konvoluční Neuronové Sítě v Klasifikaci: Empirické Srovnání
Author: Danko, Lukáš
Thesis type: Bakalářská práce
Supervisor: Zamazal, Ondřej
Opponents: Vacura, Miroslav
Thesis language: English
Abstract:
Tato práce se zabývá efektivností regularizačních technik v konvolučních neuronových sítích, přesněji těch pro rozpoznávání obrazu. Jednou z největších překážek při vytváření neuronových sítí je přeučení, zejména jedná-li se o hlubokou neuronovou síť a nebo když se pracuje s komplexními trénovacími daty. Existuje mnoho regularizačních technik, tato práce zkoumá pět z nich: Label Smoothing, DropBlock, SaliencyMix, Stochastic Weight Averaging (SWA) a Sharpness Aware Minimization (SAM). Experimenty byly provedeny na dvou datasetech: Oxford-IIIT Pet a STL10 a na dvou architekturách: ResNet-18 a na ručně vytvořené jednoduché konvoluční síti CNN. To umožnilo férové testování napříč různými složitostmi modelů a obtížnostmi datasetů. Kromě toho byl proveden další experiment, ve kterém bylo použito 20 % trénovacích dat k otestování regularizačních technik za podmínek limitovaných trénovacích dat. Výsledky ukazují, že Label Smoothing měl nejlepší průměrné testovací výsledky, zatímco DropBlock měl nejlepší rovnováhu mezi testovými výsledky a mezerou v generalizaci. SaliencyMix byl velice nekonzistentní, na jednoduchém datasetu si vedl dobře, ale na složitém si vedl špatně. SAM se přeučil, když byl trénován na architektuře ResNet-18, nejspíše kvůli krátkému času trénování, zatímco SWA si vedl hůře, než bylo očekáváno, pravděpodobně z důvodu nízkého počtu trénovacích epoch. V experimentu s 20 % trénovacích dat si vedl nejlépe SaliencyMix, což je konzistentní s literaturou. Výsledky této práce ukazují, že neexistuje jedna nejlepší regularizační technika, protože je nutné brát v potaz každý aspekt neuronové sítě a používaného datasetu.
Keywords: neuronové sítě; klasifikace obrazu; hluboké učení; regularizační techniky

Information about study

Study programme: Data Analytics
Type of study programme: Bakalářský studijní program
Assigned degree: Bc.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 1. 4. 2025
Date of submission: 9. 5. 2026
Date of defense: 15. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/92057/podrobnosti

Files for download

    Last update: