Dynamic MLOps Framework with Integrated CLI for Automated ML Project Inception, Kafka-Driven Real-Time Model Monitoring, and Adaptive Canary Deployment Architectures

Thesis title: Dynamic MLOps Framework with Integrated CLI for Automated ML Project Inception, Kafka-Driven Real-Time Model Monitoring, and Adaptive Canary Deployment Architectures
Author: Kozák, Tomáš
Thesis type: Diploma thesis
Supervisor: Galindez Arias, William Arley
Opponents: Vencovský, Filip
Thesis language: English
Abstract:
The thesis introduces a Python framework and library with an integrated CLI, designed to streamline ML lifecycle management by automating project inception, real-time model monitoring, and adaptive canary deployment processes. The library facilitates automated project setup across various configurable ML paradigms (whether it is a Random Forest classification, XGBoost regression, T5-based time-series forecasting, encoder-only / encoder-decoder / decoder-only transformer-based NLP downstream tasks, or practically any other configurable ML paradigm) with optimized directories, subdirectories and configuration files adhering to recommended practices in ML development. The library features a plugin architecture for extensibility, allowing integration with other core components / packages, such as real-time model monitoring with anomaly detection mechanisms, adaptive canary deployment architectures, and integrated UI for monitoring and deployment control. Model monitoring is implemented using high-throughput, low-latency data streaming tool Apache Kafka. Deployed ML models act as Kafka producers, emitting real-time inference data and performance metrics serialized with Apache Avro for schema enforcement and efficiency. Model monitoring is accompanied with anomaly, data, and concept drift detection mechanisms via techniques like PSI, Isolation Forests, or LSTM auto-encoders. Adaptive canary deployment architectures and strategies are implemented specifically for ML models.
Keywords: real-time model monitoring; canary deployments; MLOps
Thesis title: Dynamický MLOps framework s integrovaným CLI pro automatickou incepci ML projektů, Kafka monitoring modelů v reálném čase a adaptivní architektury canary nasazení
Author: Kozák, Tomáš
Thesis type: Diplomová práce
Supervisor: Galindez Arias, William Arley
Opponents: Vencovský, Filip
Thesis language: English
Abstract:
Diplomová práce představuje Python framework a knihovnu s integrovaným CLI, navrženým ke zjednodušení správy životního cyklu ML systémů automatizací iniciální incepce projektů, monitorování modelů v reálném čase a adaptivních architektur „canary“ nasazení. Knihovna umožňuje automatizovanou incepci ML projektů napříč různými konfigurovatelnými ML paradigmaty (ať už jde o Random Forest klasifikaci, XGBoost regresi, predikci časových řad založené na T5 transformerech, NLP úlohy založené na encoder-only / encoder-decoder / decoder-only transformerech, či prakticky jakékoliv jiné konfigurovatelné ML paradigma) s optimalizovanými adresáři, podadresáři a konfiguračními soubory splňujícími doporučené MLOps postupy. Knihovna je postavena nad plugin architekturou pro rozšiřitelnost umožňující integraci s dalšími klíčovými komponentami, jako jsou monitorování modelů v reálném čase s mechanismy detekce anomálií, adaptivní architektury „canary“ nasazení a integrované uživatelské rozhraní pro monitoring a řízení nasazení. Monitorování modelů je implementováno prostřednictvím nástroje pro vysokorychlostní datové toky s nízkou latencí Apache Kafka. Nasazené ML modely vystupují jako Kafka producenti, emitující inferenční data a metriky kvality modelů v reálném čase, serializované pomocí Apache Avro pro vynucení schématu. Monitorování modelů je doplněno o detekci anomálií, datového a koncepčního driftu pomocí metod jako PSI, Isolation Forests nebo LSTM auto-encoderů. Adaptivní architektury a strategie „canary“ nasazení jsou implementovány specificky pro ML systémy.
Keywords: monitoring modelů v reálném čase; canary nasazení; MLOps

Information about study

Study programme: Data a analytika pro business
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information Technologies

Information on submission and defense

Date of assignment: 24. 3. 2025
Date of submission: 4. 5. 2025
Date of defense: 4. 6. 2025
Identifier in the InSIS system: https://insis.vse.cz/zp/92003/podrobnosti

Files for download

    Last update: