Comparison of Selected Efficient Deep Learning Techniques for Convolutional Neural Networks in Classification

Nasazení konvolučních neuronových sítí (CNN) na zařízení s omezenými výpočetními prostředky vyžaduje použití technik komprese modelů k vyvážení výkonu, velikosti a rychlosti inferenčního zpracování. Tato bakalářská práce zkoumá tři klíčové techniky — prořezávání, kvantizaci a destilaci znalostí — s cílem vyhodnotit jejich dopad na výkon CNN napříč různými datovými sadami a architekturami modelů. Výsledky experimentů ukazují, že prořezávání vah výrazně snižuje velikost modelu a mírně zlepšuje správnost, pokud je aplikováno na jednodušší vlastní CNN modely. Naopak nadměrné prořezávání u složitějších předtrénovaných modelů vede k výraznému poklesu výkonu, což poukazuje na nutnost pokročilejších strategií u komplexních architektur. Kvantizační techniky, zejména kvantizace po trénování (Post-Training Quantization, PTQ), se ukázaly jako vysoce účinné. Snížily velikosti modelu o více než 75-90 % a zrychlily inferenční dobu až o 1,5-8×, aniž by došlo k významnému poklesu správnosti. Naproti tomu kvantizace s ohledem na trénink (Quantization-Aware Training, QAT) nabídla podobné výhody, ale vedla k drobným ztrátám správnosti a riziku přetrénování, zejména při aplikaci na větší modely jako je InceptionV3. Destilace znalostí prokázala silný potenciál pro přenos znalostí z větších modelů učitelů do menších studentských modelů, což vedlo ke zlepšení správnosti klasifikace bez zvýšení velikosti modelu nebo inferenčního času. Tyto techniky nabízejí slibná řešení pro optimalizaci CNN s cílem zajistit efektivní výkon při zachování konkurenceschopné správnosti.