Implementation of a real-time analytics layer over a data warehouse in the Elasticsearch framework
| Thesis title: | Realizace real-time analytické vrstvy nad datovým skladem v Elasticsearch frameworku |
|---|---|
| Author: | Dostál, Kryštof |
| Thesis type: | Diplomová práce |
| Supervisor: | Stanovská, Iva |
| Opponents: | Maršálek, Karel |
| Thesis language: | Česky |
| Abstract: | Tato diplomová práce se zabývá návrhem a implementací real-time analytické vrstvy nad datovým skladem v Elasticsearch frameworku. Cílem projektu je ověřit použitelnost Elasticsearch pro migraci tří vybraných agregačních služeb z Oracle databáze a dosáhnout výrazného zlepšení výkonu a škálovatelnosti. Práce popisuje analýzu požadavků, návrh architektury řešení využívající Elasticsearch a Apache Kafka, a implementaci datového toku, indexů a podpůrných nástrojů. Výsledky zátěžových a výkonnostních testů demonstrují úspěšnost migrace, s dosažením až třicetinásobného zrychlení odezvy služeb a lineární škálovatelností. Projekt potvrzuje přínos Elasticsearch pro real-time analýzu velkých objemů dat v podnikovém prostředí. |
| Keywords: | Elasticsearch; real-time analytika; migrace dat |
| Thesis title: | Implementation of a real-time analytics layer over a data warehouse in the Elasticsearch framework |
|---|---|
| Author: | Dostál, Kryštof |
| Thesis type: | Diploma thesis |
| Supervisor: | Stanovská, Iva |
| Opponents: | Maršálek, Karel |
| Thesis language: | Česky |
| Abstract: | This master's thesis focuses on the design and implementation of a real-time analytical layer on top of a data warehouse using the Elasticsearch framework. The project aims to verify the applicability of Elasticsearch for migrating three selected aggregation services from an Oracle database and achieve significant improvements in performance and scalability. The thesis describes the requirements analysis, the design of a solution architecture utilizing Elasticsearch and Apache Kafka, and the implementation of data flows, indexes, and supporting tools. The results of load and performance tests demonstrate the success of the migration, with up to a 30-fold acceleration in service response times and linear scalability. The project confirms the benefits of Elasticsearch for real-time analysis of large data volumes in an enterprise setting. |
| Keywords: | Elasticsearch; real-time analytics; data migration |
Information about study
| Study programme: | Data a analytika pro business |
|---|---|
| Type of study programme: | Magisterský studijní program |
| Assigned degree: | Ing. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information Technologies |
Information on submission and defense
| Date of assignment: | 29. 10. 2023 |
|---|---|
| Date of submission: | 29. 4. 2024 |
| Date of defense: | 28. 5. 2024 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/86303/podrobnosti |
Files for download
Main text
Private file Download
Private file Download
Private annex
Private file Download
Private file Download