Innovations in the data mining backend for the EasyMiner system

Thesis title: Inovace data miningového backendu pro systém EasyMiner
Author: Sückr, Radim
Thesis type: Diplomová práce
Supervisor: Vojíř, Stanislav
Opponents: Zeman, Václav
Thesis language: Česky
Abstract:
Tato diplomová práce se zabývá modernizací data miningového backendu pro systém EasyMiner prostřednictvím reimplementace jeho tří klíčových služeb – datové, preprocessingové a dolovací – z jazyka Scala do jazyka Python. Původní implementace trpěla značným technologickým dluhem, který prakticky znemožňoval její sestavení, údržbu i další rozvoj. Nový backend je postaven na frameworku FastAPI pro webovou API vrstvu, systému Celery pro asynchronní zpracování úloh a knihovně pyARC pro dolování asociačních pravidel s podporou CBA pruningu. Výkonnostní testování na devíti datasetech různé velikosti a komplexity prokázalo, že nová implementace dosahuje srovnatelného nebo lepšího výkonu – na datasetu KDD Cup 99 se doba zpracování celé pipeline zkrátila z 49 minut na 18 minut. Systém je plně kontejnerizován pomocí Dockeru a orchestrován prostřednictvím Docker Compose a Kubernetes (Helm), což umožňuje flexibilní nasazení a horizontální škálování.
Keywords: Python; backend; reimplementace; dolování dat; asociační pravidla; EasyMiner
Thesis title: Innovations in the data mining backend for the EasyMiner system
Author: Sückr, Radim
Thesis type: Diploma thesis
Supervisor: Vojíř, Stanislav
Opponents: Zeman, Václav
Thesis language: Česky
Abstract:
This thesis addresses the modernization of the data mining backend for the EasyMiner system by reimplementing its three core services – data, preprocessing, and mining – from Scala to Python. The original implementation suffered from significant technical debt, making it nearly impossible to build, maintain, or extend. The new backend is built on FastAPI for the web API layer, Celery for asynchronous task processing, and the pyARC library for association rule mining with CBA pruning support. Performance testing on nine datasets of varying size and complexity demonstrated that the Python implementation achieves comparable or better performance than the original, with the most significant improvement on large datasets – processing time for the KDD Cup 99 dataset was reduced from 49 minutes to 18 minutes. The system is fully containerized using Docker and orchestrated via Docker Compose and Kubernetes (Helm), enabling flexible deployment and horizontal scaling.
Keywords: data mining; association rules; EasyMiner; Python; backend; reimplementation

Information about study

Study programme: Znalostní a webové technologie
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 15. 11. 2023
Date of submission: 3. 5. 2026
Date of defense: 8. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/86545/podrobnosti

Files for download

    Last update: