Data Validation of Reporting Solutions in a Commercial Company

This thesis addresses the design and implementation of data validation processes for reporting solutions at Siemens Czech Republic. The primary objective of the thesis is to implement procedures for data validation ensuring that the company's existing solutions use reliable data and meet the company's framework development requirements. Data validation aims to verify the credibility of input data as well as data after transformation and then to automatically review the requirements for the visual aspect of the solution. A secondary objective is to create a reporting solution to locate deficiencies identified by the established data validation processes. The first part of the thesis thoroughly defines the initial state of the company and the motivation for implementing the solution. It then describes the technologies and source systems used, both for data validation at the data storage level and for data visualization. The actual implementation of the defined tests forms the core of the thesis. For the defined tests checking data quality and business logic at the data storage level, the dbt application is used. Tests for data visualization validation are implemented using a custom program written in the Python programming language. An overview solution is then created in the reporting tool Power BI to visualize errors identified by this program, along with an automated email notification system orchestrated by Power Automate. The result of the work is a system that minimizes human errors, improves data reliability and consistency, and ensures professional looking reports.

Tato práce se zabývá návrhem a implementací procesů validace dat pro reportingová řešení společnosti Siemens Česká republika. Hlavním cílem práce je zavedení postupů pro validaci dat tak, aby stávajíci řešení společnosti využívala spolehlivá data a splňovala rámcové požadavky na rozvoj společnosti. Cílem validace dat je ověřit důvěryhodnost vstupních dat i dat po transformaci a následně automaticky revidovat požadavky na vizuální stránku řešení. Sekundárním cílem je vytvořit řešení pro reporting, které lokalizuje nedostatky zjištěné zavedenými procesy validace dat. V první části práce je nejprve důkladně definován výchozí stav společnosti a motivace k implementaci řešení. Následně jsou popsány použité technologie a zdrojové systémy, a to jak pro řešení validace dat na úrovni ukládání dat, tak na úrovni vizualizace. Vlastní implementace definovaných testů tvoří jádro práce. Pro definované testy ověřující kvalitu dat a obchodní logiku na úrovni ukládání dat je použita aplikace dbt. Testy pro kontrolu na úrovni vizualizace dat jsou realizovány pomocí vlastního programu napsaného v programovacím jazyce Python. Pro vizualizaci chyb zjištěných tímto programem je pak vytvořeno přehledové řešení v reportingovém nástroji Power BI a systém automatického zasílání e-mailů orchestrovaný nástrojem Power Automate. Výsledkem práce je systém, který minimalizuje lidské chyby, zvyšuje spolehlivost a konzistenci dat a zajišťuje profesionální vzhled zpráv.