Automation of DWH development
| Thesis title: | Automatizace developmentu DWH |
|---|---|
| Author: | Smetana, Marek |
| Thesis type: | Bakalářská práce |
| Supervisor: | Karkošková, Soňa |
| Opponents: | Maryška, Miloš |
| Thesis language: | Česky |
| Abstract: | Tato bakalářská práce se věnuje automatizaci developmentu DWH. Hlavním cílem práce je implementace řešení pro automatizaci developmentu DWH. Práce je rozdělena do dvou hlavních částí: teoretického úvodu a praktické aplikace. V teoretické části je poskytnut podrobný přehled základních pojmu a současné literatury týkající se automatizace v DWH. Definovány jsou klíčové technologie a metodiky, včetně vysvětlení principů ETL (Extract, Transform, Load) a ELT (Extract, Load, Transform), které jsou základem pro práci s daty v datových skladech. Praktická část se zaměřuje na návrh a implementaci řešení pro zefektivnění vývoje datového skladu. Popsány jsou dva přístupy: použití pgSQL jako tradiční technologie developmentu DWH a dbt pro pokročilé automatizační funkce. Obě metody jsou následně porovnány z hlediska efektivity, rychlosti a snížení možnosti chyb v procesu developmentu. Výsledkem práce je poskytnutí jasného srovnání přínosů při využití nástroje dbt pro automatizaci datového skladu, a to na základě srovnání s tradičním přístupem vývoje. Celkově tato práce přináší ucelený pohled na automatizaci vývoje DWH s využitím nejnovějších technologií. |
| Keywords: | automatizace; datový sklad; dbt; PostgreSQL |
| Thesis title: | Automation of DWH development |
|---|---|
| Author: | Smetana, Marek |
| Thesis type: | Bachelor thesis |
| Supervisor: | Karkošková, Soňa |
| Opponents: | Maryška, Miloš |
| Thesis language: | Česky |
| Abstract: | This bachelor's thesis focuses on the automation of DWH development. The main objective of the thesis is to implement a solution for automating DWH development. The thesis is divided into two main parts: a theoretical introduction and practical application. In the theoretical part, a detailed overview of basic concepts and current literature related to DWH automation is provided. Key technologies and methodologies are defined, including an explanation of the principles of ETL (Extract, Transform, Load) and ELT (Extract, Load, Transform), which are fundamental for working with data in data warehouses. The practical part focuses on the design and implementation of solutions to enhance the efficiency of data warehouse development. Two approaches are described: the use of pgSQL as a traditional DWH development technology and dbt for advanced automation functions. Both methods are then compared in terms of efficiency, speed, and reduction of potential errors in the development process. The outcome of the thesis provides a clear comparison of the benefits of using the dbt tool for data warehouse automation, based on a comparison with the traditional development approach. Overall, this work presents a comprehensive view of DWH development automation using the latest technologies. |
| Keywords: | automation; data warehouse; PostgreSQL; dbt |
Information about study
| Study programme: | Aplikovaná informatika |
|---|---|
| Type of study programme: | Bakalářský studijní program |
| Assigned degree: | Bc. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information Technologies |
Information on submission and defense
| Date of assignment: | 2. 8. 2023 |
|---|---|
| Date of submission: | 6. 5. 2024 |
| Date of defense: | 19. 6. 2024 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/85119/podrobnosti |