Application and Comparison of Artificial Neural Network Architectures for Network Traffic Anomaly Detection

Thesis title: Využití a porovnání architektur umělých neuronových sítí pro detekci anomálií v síťovém provozu
Author: Kotrba, Jakub
Thesis type: Diplomová práce
Supervisor: Zamazal, Ondřej
Opponents: Švarc, Lukáš
Thesis language: Česky
Abstract:
Tato diplomová práce se zabývá využitím a porovnáním architektur umělých neuronových sítí pro detekci anomálií v síťovém provozu. S rostoucí sofistikovaností kybernetických hrozeb a omezeními tradičních signaturových přístupů se algoritmy strojového a hlubokého učení stávají perspektivním nástrojem pro identifikaci dosud neznámých útoků. Cílem této práce je provést rešerši současných metod detekce anomálií se zaměřením na architektury umělých neuronových sítí, navrhnout experimentální rámec a systematicky porovnat detekční schopnosti, provozní efektivitu, vysvětlitelnost a přenositelnost vybraných architektur. V rámci práce bylo implementováno osm architektur pokrývajících klasické strojové učení (LightGBM, SVM), sekvenční hluboké učení (Bi-LSTM), mechanismus pozornosti (TabTransformer) a rekonstrukční přístupy (autoenkodéry, SAE+SVM, MemAE+EIF, Kitsune). Experimenty byly realizovány na čtyřech veřejných benchmarkových datasetech (CICIDS2017, CSE-CIC-IDS2018, NSL-KDD, UNSW-NB15), specializovaném IoT datasetu (IoT-23) a dvou vlastních datasetech nasbíraných z reálného podnikového provozu. Výsledky ukazují, že stromový algoritmus LightGBM představuje nejuniverzálnější řešení s příznivým poměrem detekční výkonnosti a výpočetní ceny, zatímco architektury s mechanismem pozornosti nacházejí opodstatnění primárně u dat s komplexními kategoriálními proměnnými. Rekonstrukční modely se ukázaly jako životaschopná alternativa pro IoT prostředí bez označených dat, avšak za cenu vyšší míry falešných poplachů. Experimenty s přenosem učení na vlastní data bez anotací prokázaly, že přímé nasazení modelů do nového síťového prostředí bez doménové adaptace je krajně nespolehlivé. Analýza vysvětlitelnosti pomocí frameworku SHAP odhalila zásadní rozdíly v učících strategiích architektur a potvrdila kritickou roli metod vysvětlitelné umělé inteligence pro odhalení skrytého biasu v datech.
Keywords: detekce anomálií; síťový provoz; systémy detekce narušení; hluboké učení; strojové učení; vysvětlitelná umělá inteligence; LightGBM; TabTransformer; autoenkodér; přenos učení
Thesis title: Application and Comparison of Artificial Neural Network Architectures for Network Traffic Anomaly Detection
Author: Kotrba, Jakub
Thesis type: Diploma thesis
Supervisor: Zamazal, Ondřej
Opponents: Švarc, Lukáš
Thesis language: Česky
Abstract:
This thesis explores the use and comparison of artificial neural network architectures for anomaly detection in network traffic. With the increasing sophistication of cyber threats and the limitations of traditional signature-based approaches, machine learning and deep learning algorithms are becoming a promising tool for identifying previously unknown attacks. The goal of this thesis is to conduct a review of current anomaly detection methods with a focus on artificial neural network architectures, design an experimental framework, and systematically compare the detection capabilities, operational efficiency, explainability, and transferability of selected architectures. A total of eight architectures were implemented, covering classical machine learning (LightGBM, SVM), sequential deep learning (Bi-LSTM), the attention mechanism (TabTransformer), and reconstruction-based approaches (autoencoders, SAE+SVM, MemAE+EIF, Kitsune). The experiments were conducted on four public benchmark datasets (CICIDS2017, CSE-CIC-IDS2018, NSL-KDD, UNSW-NB15), a specialized IoT dataset (IoT-23), and two custom datasets collected from a real enterprise network. The results show that the tree-based LightGBM algorithm represents the most versatile solution with a favorable trade-off between detection performance and computational cost, while attention-based architectures are primarily justified for data with complex categorical features. Reconstruction-based models proved to be a viable alternative for IoT environments without labeled data, albeit at the cost of a higher false alarm rate. Transfer learning experiments on custom unannotated data demonstrated that direct deployment of models into a new network environment without domain adaptation is highly unreliable. Explainability analysis using the SHAP framework revealed fundamental differences in the learning strategies of the tested architectures and confirmed the critical role of explainable artificial intelligence methods in detecting hidden data bias.
Keywords: anomaly detection; network traffic; intrusion detection systems; deep learning; explainable artificial intelligence; machine learning; LightGBM; TabTransformer; autoencoder; transfer learning

Information about study

Study programme: Znalostní a webové technologie
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 4. 11. 2025
Date of submission: 2. 5. 2026
Date of defense: 1. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/94349/podrobnosti

Files for download

    Last update: