The Use of Biml Programming Language for ETL Development Optimization
| Thesis title: | Využití programovacího jazyka Biml pro optimalizaci vývoje ETL |
|---|---|
| Author: | Mareš, David |
| Thesis type: | Diplomová práce |
| Supervisor: | Novotný, Ota |
| Opponents: | Pour, Jan |
| Thesis language: | Česky |
| Abstract: | Tato práce se zabývá využitím programovacího jazyka Biml při tvorbě aplikace pro automatické generování ETL řešení pro přenos dat mezi zdrojovou a cílovou databází na základě metadat definovaných uživatelem jako jednoduchého řešení při práci na často triviálních a opakujících se úlohách přenosu dat.Hlavním výstupem této práce je vytvořená aplikace a její popis a následné testování na fiktivním případu z praxe. Sekundárním výstupem práce je pak analýza procesu ETL a možností a výhod poskytovaných programovacím jazykem Biml s využitím pomocných C# BimlScript nuggetů, především pak pro optimalizaci práce při vývoji v oblasti přenosu dat a ETL.Samotná práce se skládá ze dvou hlavních částí, z nichž se ta první věnuje obecné analýze ETL procesu a možnostem, jak jej optimalizovat pomocí programovacího jazyka Biml s využitím C# BimlScript nuggetů. Druhá část práce se pak zabývá již samotnou aplikací, tedy nejdříve vývojem a popisem jejích jednotlivých stavebních bloků, jak z pohledu databáze, tak i samotné aplikace, a následně jejím použitím v testovacím provozu na zmíněném fiktivním případu z praxe. |
| Keywords: | Business Intelligence Markup Language (Biml); Business Intelligence (BI); SSIS; metadata; databáze; znovupoužitelnost kódu; přenos dat (ETL); BimlScript |
| Thesis title: | The Use of Biml Programming Language for ETL Development Optimization |
|---|---|
| Author: | Mareš, David |
| Thesis type: | Diploma thesis |
| Supervisor: | Novotný, Ota |
| Opponents: | Pour, Jan |
| Thesis language: | Česky |
| Abstract: | This thesis focuses on using Biml programming language in creation of an application for automatic generation of ETL solution for data transfer from a source database into a destination database based on user-defined metadata. This application was created as a simple solution for oftentimes trivial and repetitive data transfer tasks. The main output of this thesis is the application itself and its description and subsequent testing on a fictitious use case. The secondary output of this thesis is an analysis of the ETL process and the possibilities and benefits provided by the Biml programming language using C# BimlScript nuggets, especially for work optimization in the field of data transfer and ETL.The work itself consists of two main parts. The first part is focused on the general analysis of the ETL process and the possibilities to optimize it using the Biml programming language using C# BimlScript nuggets. The second part of the thesis then focuses on the application itself, firstly on development and description of its individual building blocks, from both the database’s and the application’s points of view, and secondly on its testing on a fictitious use case. |
| Keywords: | Business Intelligence Markup Language (Biml); BimlScript; Business Intelligence (BI); data transfer (ETL); SSIS; metadata; database; code reuse |
Information about study
| Study programme: | Aplikovaná informatika/Informační systémy a technologie |
|---|---|
| Type of study programme: | Magisterský studijní program |
| Assigned degree: | Ing. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information Technologies |
Information on submission and defense
| Date of assignment: | 1. 12. 2017 |
|---|---|
| Date of submission: | 19. 4. 2018 |
| Date of defense: | 31. 5. 2018 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/64409/podrobnosti |