Dynamický MLOps framework s integrovaným CLI pro automatickou incepci ML projektů, Kafka monitoring modelů v reálném čase a adaptivní architektury canary nasazení

Název práce: Dynamic MLOps Framework with Integrated CLI for Automated ML Project Inception, Kafka-Driven Real-Time Model Monitoring, and Adaptive Canary Deployment Architectures
Autor(ka) práce: Kozák, Tomáš
Typ práce: Diploma thesis
Vedoucí práce: Galindez Arias, William Arley
Oponenti práce: Vencovský, Filip
Jazyk práce: English
Abstrakt:
The thesis introduces a Python framework and library with an integrated CLI, designed to streamline ML lifecycle management by automating project inception, real-time model monitoring, and adaptive canary deployment processes. The library facilitates automated project setup across various configurable ML paradigms (whether it is a Random Forest classification, XGBoost regression, T5-based time-series forecasting, encoder-only / encoder-decoder / decoder-only transformer-based NLP downstream tasks, or practically any other configurable ML paradigm) with optimized directories, subdirectories and configuration files adhering to recommended practices in ML development. The library features a plugin architecture for extensibility, allowing integration with other core components / packages, such as real-time model monitoring with anomaly detection mechanisms, adaptive canary deployment architectures, and integrated UI for monitoring and deployment control. Model monitoring is implemented using high-throughput, low-latency data streaming tool Apache Kafka. Deployed ML models act as Kafka producers, emitting real-time inference data and performance metrics serialized with Apache Avro for schema enforcement and efficiency. Model monitoring is accompanied with anomaly, data, and concept drift detection mechanisms via techniques like PSI, Isolation Forests, or LSTM auto-encoders. Adaptive canary deployment architectures and strategies are implemented specifically for ML models.
Klíčová slova: real-time model monitoring; canary deployments; MLOps
Název práce: Dynamický MLOps framework s integrovaným CLI pro automatickou incepci ML projektů, Kafka monitoring modelů v reálném čase a adaptivní architektury canary nasazení
Autor(ka) práce: Kozák, Tomáš
Typ práce: Diplomová práce
Vedoucí práce: Galindez Arias, William Arley
Oponenti práce: Vencovský, Filip
Jazyk práce: English
Abstrakt:
Diplomová práce představuje Python framework a knihovnu s integrovaným CLI, navrženým ke zjednodušení správy životního cyklu ML systémů automatizací iniciální incepce projektů, monitorování modelů v reálném čase a adaptivních architektur „canary“ nasazení. Knihovna umožňuje automatizovanou incepci ML projektů napříč různými konfigurovatelnými ML paradigmaty (ať už jde o Random Forest klasifikaci, XGBoost regresi, predikci časových řad založené na T5 transformerech, NLP úlohy založené na encoder-only / encoder-decoder / decoder-only transformerech, či prakticky jakékoliv jiné konfigurovatelné ML paradigma) s optimalizovanými adresáři, podadresáři a konfiguračními soubory splňujícími doporučené MLOps postupy. Knihovna je postavena nad plugin architekturou pro rozšiřitelnost umožňující integraci s dalšími klíčovými komponentami, jako jsou monitorování modelů v reálném čase s mechanismy detekce anomálií, adaptivní architektury „canary“ nasazení a integrované uživatelské rozhraní pro monitoring a řízení nasazení. Monitorování modelů je implementováno prostřednictvím nástroje pro vysokorychlostní datové toky s nízkou latencí Apache Kafka. Nasazené ML modely vystupují jako Kafka producenti, emitující inferenční data a metriky kvality modelů v reálném čase, serializované pomocí Apache Avro pro vynucení schématu. Monitorování modelů je doplněno o detekci anomálií, datového a koncepčního driftu pomocí metod jako PSI, Isolation Forests nebo LSTM auto-encoderů. Adaptivní architektury a strategie „canary“ nasazení jsou implementovány specificky pro ML systémy.
Klíčová slova: monitoring modelů v reálném čase; canary nasazení; MLOps

Informace o studiu

Studijní program / obor: Data a analytika pro business
Typ studijního programu: Magisterský studijní program
Přidělovaná hodnost: Ing.
Instituce přidělující hodnost: Vysoká škola ekonomická v Praze
Fakulta: Fakulta informatiky a statistiky
Katedra: Katedra informačních technologií

Informace o odevzdání a obhajobě

Datum zadání práce: 24. 3. 2025
Datum podání práce: 4. 5. 2025
Datum obhajoby: 4. 6. 2025
Identifikátor v systému InSIS: https://insis.vse.cz/zp/92003/podrobnosti

Soubory ke stažení

    Poslední aktualizace: