Anomaly Detection in Encrypted Communication Using AI

Thesis title: Detekce anomálií v šifrované komunikaci pomocí AI
Author: Parkhomenko, Aleksandra
Thesis type: Diplomová práce
Supervisor: Ivánek, Jiří
Opponents: Švarc, Lukáš
Thesis language: Česky
Abstract:
Tato diplomová práce se zabývá detekcí anomálií v šifrované síťové komunikaci a systematickým srovnáním tří skupin detekčních metod: hlubokého učení, klasického strojového učení a statistických/heuristických přístupů. Práce analyzuje aktuální metody ze všech tří skupin, navrhuje experimentální prostředí pro sběr a validaci dat síťových toků, implementuje prototyp detekčního systému s jedenácti modely a vyhodnocuje jejich účinnost pomocí metrik přesnosti (precision), úplnosti (recall), F1 skóre, celkové přesnosti klasifikace (accuracy) a ROC křivky. Kontrolovaný experiment na datové sadě UNSW-NB15 prokázal statisticky významný rozdíl mezi všemi třemi skupinami (Kruskal–Wallisův test, p = 0,0012). Konvoluční model (CNN) dosáhl nejvyššího F1 skóre 0,94; modely hlubokého učení s učitelem statisticky významně překonaly klasické strojové učení i statistické metody. V režimu učení bez učitele však metody klasického strojového učení dosáhly srovnatelné výkonnosti s hlubokým učením při nižší výpočetní náročnosti.
Keywords: detekce anomálií; šifrovaná komunikace; umělá inteligence; strojové učení; síťová bezpečnost; TLS; IDS
Thesis title: Anomaly Detection in Encrypted Communication Using AI
Author: Parkhomenko, Aleksandra
Thesis type: Diploma thesis
Supervisor: Ivánek, Jiří
Opponents: Švarc, Lukáš
Thesis language: Česky
Abstract:
This diploma thesis addresses anomaly detection in encrypted network communication through a systematic comparison of three groups of detection methods: deep learning, classical machine learning, and statistical/heuristic approaches. The thesis analyzes current methods from all three groups, designs an experimental environment for collecting and validating network flow data, implements a prototype detection system with eleven models, and evaluates their effectiveness using precision, recall, F1 score, classification accuracy, and ROC curve metrics. A controlled experiment on the UNSW-NB15 dataset revealed a statistically significant difference among all three groups (Kruskal–Wallis test, p = 0.0012). The convolutional model (CNN) achieved the highest F1 score of 0.94; supervised deep learning models significantly outperformed both classical ML and statistical methods. In unsupervised mode, classical ML methods achieved comparable performance to deep learning at lower computational cost.
Keywords: encrypted communication; artificial intelligence; machine learning; network security; TLS; IDS; anomaly detection

Information about study

Study programme: Podniková informatika
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 27. 6. 2025
Date of submission: 3. 5. 2026
Date of defense: 5. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/92881/podrobnosti

Files for download

    Last update: