The Significance of Transfer Learning for Computer Vision Technology
| Thesis title: | Význam přenosového učení pro technologii počítačového vidění |
|---|---|
| Author: | Bronec, Ondřej |
| Thesis type: | Diplomová práce |
| Supervisor: | Bašta, Milan |
| Opponents: | Zimmermann, Pavel |
| Thesis language: | Česky |
| Abstract: | Tématem této diplomové práce je přenosové učení – technika umožňující přenos znalostí mezi neuronovými sítěmi, a to především v kontextu počítačového vidění. Práce nejdříve prochází současnou literaturu a vysvětluje teorii této oblasti. Následuje přehled modelů počítačového vidění posledních let a praktická část, v které se pokusíme zjistit, jestli je možné pomocí přenosového učení lze kompenzovat nedostatek dat a zkrátit dobu učení sítě. Dále se pokusíme zjistit, jestli dosahuje síť získaná pomocí přenosu znalostí i po dostatečné době a s dostatečným množstvím dat lepších výsledků. Nakonec ještě posoudíme vliv velikosti a architektury zdrojového modelu na výsledky přenosového učení. V rámci šesti datových souborů používaných pro hodnocení klasifikace obrázků je provedeno porovnání výsledků modelu VGG16 vždy v jednom případě využívající pouze jeho architekturu a v druhém i jeho znalosti získané na datovém souboru ImageNet. Rovněž prověřujeme vlivy náhodného zvolení vah, prodloužení času učení modelu, navýšení a snížení velikosti datového souboru a porovnání přenosu znalostí z několika různých modelů počítačového vidění. Celkově prezentujeme velké množství závěrů podporujících užitečnost přenosového učení. U jednoho datového souboru model bez přenosu znalostí dosahuje lepších výsledků, ale u všech ostatních vede přenos znalostí ke snížení entropie a navýšení přesnosti klasifikace a ve dvou případech je dokonce přenos znalostí jedinou možností, která vede k použitelnému modelu. Navíc v rámci žádného z datových souborů jsme nenalezli žádné podstatné omezení použitelnosti přenosového učení. |
| Keywords: | konvoluční neuronové sítě; počítačové vidění; přenos parametrů; hluboké neuronové sítě; přenos znalostí; přenosové učení |
| Thesis title: | The Significance of Transfer Learning for Computer Vision Technology |
|---|---|
| Author: | Bronec, Ondřej |
| Thesis type: | Diploma thesis |
| Supervisor: | Bašta, Milan |
| Opponents: | Zimmermann, Pavel |
| Thesis language: | Česky |
| Abstract: | Subject of this thesis is transfer learning – a technique used to transfer knowledge between neural networks, especially in the field of computer vision. The thesis reviews the current research and theory of this area and then provides an overview of computer vision models from the past few years. We then include a case study in which we inquire if transfer learning can be used to compensate for the lack of data and reduction in the number of training epochs. We also evaluate if a network trained using transfer learning gives better result even after large number of training epochs and with enough data. Lastly, we compare several different models and architectures and their effects on the results. For most of the case study two versions of VGG16 model are used to evaluate six datasets. One of them is using just its architecture and the other also the knowledge learned on the ImageNet domain. We also investigate the impact of random weight initiation, increase in the number of training epochs, the size of the dataset and changing the model used to obtain the transferable knowledge. Overall, we present a large amount of evidence towards positive impact of transfer learning. In one of our datasets creating a model without transfer of knowledge proved more effective, but in all other cases usage of transfer learning lead to the reduction of cross entropy and increase in precision and in two cases using transfer learning was the only viable option. Lastly, we did not observe any significant problems that would arise from the use of transfer learning. |
| Keywords: | convolutional neural networks; deep neural networks; knowledge transfer; parameter-based transfer learning; computer vision; transfer learning |
Information about study
| Study programme: | Kvantitativní metody v ekonomice/Statistika |
|---|---|
| Type of study programme: | Magisterský studijní program |
| Assigned degree: | Ing. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Statistics and Probability |
Information on submission and defense
| Date of assignment: | 9. 9. 2019 |
|---|---|
| Date of submission: | 3. 5. 2021 |
| Date of defense: | 9. 6. 2021 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/70413/podrobnosti |