Optimization of Big Data operations in a multinational company

Thesis title: Optimalizace operací s Big Data v nadnárodní společnosti
Author: Mánková, Markéta
Thesis type: Diplomová práce
Supervisor: Pour, Jan
Opponents: Maršík, Jiří
Thesis language: Česky
Abstract:
Diplomová práce se zabývá problematikou optimalizace práce s velkými objemy výrobních dat v prostředí průmyslového podniku. Hlavním cílem práce je navrhnout a experimentálně ověřit metody, které povedou ke snížení objemu ukládaných a přenášených dat a současně umožní efektivní identifikaci anomálií ve výrobním procesu. Práce se zaměřuje na dvě základní oblasti – analýzu skalárních procesních dat a zpracování křivkových dat reprezentujících průběhy momentových křivek. V případě skalárních dat je využit statistický přístup k detekci anomálií založený na robustních metodách, konkrétně na mediánu a mediánové absolutní odchylce; pro křivková data je nejprve navržena metoda jejich komprese s cílem snížit datový objem při zachování informační hodnoty a následně je aplikován model konvolučního autoenkodéru pro detekci anomálních průběhů na základě rekonstrukční chyby. Navržené metody jsou implementovány v prostředí programovacího jazyka Python a ověřeny na reálných datech z výrobní linky. Výsledky potvrzují, že použití statistických metod a přístupů strojového učení umožňuje identifikovat nestandardní chování výrobního procesu a současně dosáhnout snížení objemu zpracovávaných dat. Součástí práce je rovněž orientační vyhodnocení ekonomických přínosů některých navržených řešení v kontextu průmyslové praxe.
Keywords: výrobní proces; detekce anomálií; redukce datového objemu; strojové učení; Big Data; průmyslová výroba; autoenkodér; analýza časových řad
Thesis title: Optimization of Big Data operations in a multinational company
Author: Mánková, Markéta
Thesis type: Diploma thesis
Supervisor: Pour, Jan
Opponents: Maršík, Jiří
Thesis language: Česky
Abstract:
This thesis addresses the problem of optimizing the processing of large volumes of manufacturing data in an industrial environment. The main objective is to design and experimentally validate methods that reduce the volume of stored and transmitted data while enabling effective identification of anomalies in the manufacturing process. The work focuses on two main areas: the analysis of scalar process data and the processing of curve-based data representing torque curves. For scalar data, a statistical approach to anomaly detection based on robust methods, specifically the median and the median absolute deviation, is employed. For curve-based data, a compression method is first proposed to reduce data volume while preserving informational value, followed by the application of a convolutional autoencoder model to detect anomalous patterns based on reconstruction error. The proposed methods are implemented in the Python programming environment and validated on real-world data from a production line. The results indicate that the use of statistical methods and machine learning approaches enables the identification of abnormal behavior in the manufacturing process while simultaneously reducing the volume of processed data. The thesis also includes an indicative evaluation of the economic benefits of some of the proposed solutions in an industrial context.
Keywords: Big Data; industrial manufacturing; manufacturing process; anomaly detection; data reduction; machine learning; autoencoder; time series analysis

Information about study

Study programme: Aplikovaná datová analytika a umělá inteligence/Datová analytika ve výrobních podnicích
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information Technologies

Information on submission and defense

Date of assignment: 3. 3. 2025
Date of submission: 1. 5. 2026
Date of defense: 12. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/91745/podrobnosti

Files for download

    Last update: