Implementaction of lifecycle management infrastructure for machine learning models

Thesis title: Implementaction of lifecycle management infrastructure for machine learning models
Author: Mírek, Albert
Thesis type: Diploma thesis
Supervisor: Vencovský, Filip
Opponents: Kučera, Jan
Thesis language: English
Abstract:
This thesis addresses the implementation of Machine Learning and Operations (MLOps) within a Czech e-commerce company by leveraging the existing Development and Operations (DevOps) infrastructure and the integration of additional open-source components. The primary objective was to bridge the gap between machine learning (ML) model development and its deployment, which is a common challenge in the production use of ML. By leveraging the principles of DevOps, this work extends these methods to include machine learning features, implementing automated lifecycle management infrastructure for ML models. The implementation involved the analysis and adaptation of MLOps components suitable for the company’s technical infrastructure and operational workflows. A sequence-aware ML recommender system was developed to validate the implemented MLOps infrastructure. This system served as a proof of concept but also demonstrated practical applications in enhancing the customer experience and business operations. The integrated MLOps infrastructure was evaluated by the Google maturity model, resulting in the validation of the automated ML model lifecycle management infrastructure. Although the whole range of MLOps characteristics, such as Continuous Training, was not realized due to the absence of the model in production use, the work sets a foundation and outlook for future enhancements. The contribution of this thesis is the adaptation of existing DevOps infrastructure to support the MLOps workflows without introducing unnecessary complexity. This may serve as a starting point for other companies aiming to integrate MLOps. The implemented system poses limitations in direct transferability due to the tailored solution for the company context, but it provides a structured way for similar implementations. Future work will focus on the implementation of Continuous Training and more granular execution of the pipeline to enhance efficiency, reduce computational costs, and acceleration of deployment.
Keywords: ml lifecycle management; mlops; ml; devops
Thesis title: Implementation of lifecycle management infrastructure for machine learning models
Author: Mírek, Albert
Thesis type: Diplomová práce
Supervisor: Vencovský, Filip
Opponents: Kučera, Jan
Thesis language: English
Abstract:
Tato práce se zabývá implementací strojového učení a provozu (MLOps) v rámci české e-commerce společnosti s využitím stávající infrastruktury pro vývoj a provoz (DevOps) a integrací dalších open-source komponent. Hlavním cílem práce bylo překlenout mezeru mezi vývojem modelu strojového učení (ML) a jeho nasazením, což je častý problém při produkčním využití ML. S využitím principů DevOps tato práce tato práce rozšiřuje tyto metody o funkce strojového učení a zavádí infrastrukturu pro automatizovanou správu životního cyklu modelů strojového učení. Implementace zahrnovala analýzy a přizpůsobení komponent MLOps vhodných pro technickou infrastrukturu a provozní pracovní postupy společnosti. K ověření implementované infrastruktury MLOps byl vyvinut doporučovací systém na bází strojového učení. Tento systém sloužil jako proof of concept, ale také demonstroval praktické využití při zlepšování zákaznické zkušenosti a obchodních operací. Integrovaná infrastruktura MLOps byla vyhodnocena podle modelu zralosti společnosti Google, což vedlo k validaci automatizované infrastruktury pro správu životního cyklu modelů strojového učení. Přestože nebylo realizováno plný rozsah charakteristik MLOps, jako je například kontinuální trénování a to z důvodu absence modelu v produkčním provozu, práce vytváří základ a výhled pro budoucí vylepšení. Přínosem této práce je přizpůsobení stávající DevOps infrastruktury pro podporu pracovních postupů MLOps bez zavádění nových komplexit. To může sloužit jako výchozí bod pro ostatní společnosti usilující o zavedení MLOps. Implementovaný systém představuje omezení v přímé přenositelnosti kvůli řešení šitému na míru dané společnosti, ale poskytuje strukturovaný způsobe pro podobné implementace. Budoucí práce se zaměří na implementace kontinuálního trénování a granulárnějšího provádění operací s cílem zvýšení efektivity, snížení nákladů a urychlení nasazení.
Keywords: ml; devops; mlops; ml lifecycle management

Information about study

Study programme: Informační systémy a technologie/Vývoj informačních systémů
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information Technologies

Information on submission and defense

Date of assignment: 23. 10. 2023
Date of submission: 29. 4. 2024
Date of defense: 5. 6. 2024
Identifier in the InSIS system: https://insis.vse.cz/zp/87195/podrobnosti

Files for download

    Last update: