Dynamic MLOps Framework with Integrated CLI for Automated ML Project Inception, Kafka-Driven Real-Time Model Monitoring, and Adaptive Canary Deployment Architectures
Thesis title: | Dynamic MLOps Framework with Integrated CLI for Automated ML Project Inception, Kafka-Driven Real-Time Model Monitoring, and Adaptive Canary Deployment Architectures |
---|---|
Author: | Kozák, Tomáš |
Thesis type: | Diploma thesis |
Supervisor: | Galindez Arias, William Arley |
Opponents: | Vencovský, Filip |
Thesis language: | English |
Abstract: | The thesis introduces a Python framework and library with an integrated CLI, designed to streamline ML lifecycle management by automating project inception, real-time model monitoring, and adaptive canary deployment processes. The library facilitates automated project setup across various configurable ML paradigms (whether it is a Random Forest classification, XGBoost regression, T5-based time-series forecasting, encoder-only / encoder-decoder / decoder-only transformer-based NLP downstream tasks, or practically any other configurable ML paradigm) with optimized directories, subdirectories and configuration files adhering to recommended practices in ML development. The library features a plugin architecture for extensibility, allowing integration with other core components / packages, such as real-time model monitoring with anomaly detection mechanisms, adaptive canary deployment architectures, and integrated UI for monitoring and deployment control. Model monitoring is implemented using high-throughput, low-latency data streaming tool Apache Kafka. Deployed ML models act as Kafka producers, emitting real-time inference data and performance metrics serialized with Apache Avro for schema enforcement and efficiency. Model monitoring is accompanied with anomaly, data, and concept drift detection mechanisms via techniques like PSI, Isolation Forests, or LSTM auto-encoders. Adaptive canary deployment architectures and strategies are implemented specifically for ML models. |
Keywords: | real-time model monitoring; canary deployments; MLOps |
Thesis title: | Dynamický MLOps framework s integrovaným CLI pro automatickou incepci ML projektů, Kafka monitoring modelů v reálném čase a adaptivní architektury canary nasazení |
---|---|
Author: | Kozák, Tomáš |
Thesis type: | Diplomová práce |
Supervisor: | Galindez Arias, William Arley |
Opponents: | Vencovský, Filip |
Thesis language: | English |
Abstract: | Diplomová práce představuje Python framework a knihovnu s integrovaným CLI, navrženým ke zjednodušení správy životního cyklu ML systémů automatizací iniciální incepce projektů, monitorování modelů v reálném čase a adaptivních architektur „canary“ nasazení. Knihovna umožňuje automatizovanou incepci ML projektů napříč různými konfigurovatelnými ML paradigmaty (ať už jde o Random Forest klasifikaci, XGBoost regresi, predikci časových řad založené na T5 transformerech, NLP úlohy založené na encoder-only / encoder-decoder / decoder-only transformerech, či prakticky jakékoliv jiné konfigurovatelné ML paradigma) s optimalizovanými adresáři, podadresáři a konfiguračními soubory splňujícími doporučené MLOps postupy. Knihovna je postavena nad plugin architekturou pro rozšiřitelnost umožňující integraci s dalšími klíčovými komponentami, jako jsou monitorování modelů v reálném čase s mechanismy detekce anomálií, adaptivní architektury „canary“ nasazení a integrované uživatelské rozhraní pro monitoring a řízení nasazení. Monitorování modelů je implementováno prostřednictvím nástroje pro vysokorychlostní datové toky s nízkou latencí Apache Kafka. Nasazené ML modely vystupují jako Kafka producenti, emitující inferenční data a metriky kvality modelů v reálném čase, serializované pomocí Apache Avro pro vynucení schématu. Monitorování modelů je doplněno o detekci anomálií, datového a koncepčního driftu pomocí metod jako PSI, Isolation Forests nebo LSTM auto-encoderů. Adaptivní architektury a strategie „canary“ nasazení jsou implementovány specificky pro ML systémy. |
Keywords: | monitoring modelů v reálném čase; canary nasazení; MLOps |
Information about study
Study programme: | Data a analytika pro business |
---|---|
Type of study programme: | Magisterský studijní program |
Assigned degree: | Ing. |
Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
Faculty: | Faculty of Informatics and Statistics |
Department: | Department of Information Technologies |
Information on submission and defense
Date of assignment: | 24. 3. 2025 |
---|---|
Date of submission: | 4. 5. 2025 |
Date of defense: | 4. 6. 2025 |
Identifier in the InSIS system: | https://insis.vse.cz/zp/92003/podrobnosti |