| Thesis title: |
Návrh a implementace microservice komponenty pro data-ops platformu Keboola |
| Author: |
Borner, Daniel |
| Thesis type: |
Diplomová práce |
| Supervisor: |
Novotný, Ota |
| Opponents: |
Ešner, David |
| Thesis language: |
Česky |
| Abstract: |
Tato diplomová práce se zabývá návrhem a implementací softwarové komponenty pro integraci open-source datových konektorů z platformy Airbyte do DataOps platformy Keboola. Hlavním cílem je vytvořit univerzální wrapper (microservice komponentu) umožňující provoz Airbyte konektorů v architektuře Keboola komponent, s důrazem na škálovatelnost, udržitelnost a snadnou integraci. Práce obsahuje analýzu DataOps platforem, technickou i business analýzu využití open-source konektorů a porovnání přístupů k jejich integraci. Navržený wrapper je založen na knihovně PyAirbyte a podporuje spouštění konektorů v rámci komponentového modelu Keboola. Součástí práce je návrh architektury, implementace komponent pro služby Klaviyo a Amazon Ads a testování funkčnosti. Výsledné řešení umožňuje Keboola platformě rychleji rozšiřovat portfolio datových zdrojů, zvyšuje flexibilitu a přináší úspory ve vývoji a údržbě komponent. Práce zároveň poukazuje na rizika spojená s integrací externích nástrojů a navrhuje způsoby jejich mitigace. |
| Keywords: |
Keboola; Airbyte; Wrapper; Datové konektory; Open-source; DataOps |
| Thesis title: |
Design and Implementation of a Microservice Component for the Data-Ops Platform Keboola |
| Author: |
Borner, Daniel |
| Thesis type: |
Diploma thesis |
| Supervisor: |
Novotný, Ota |
| Opponents: |
Ešner, David |
| Thesis language: |
Česky |
| Abstract: |
This thesis focuses on the design and implementation of a software component for integrating open-source data connectors from the Airbyte platform into the Keboola DataOps platform. The main objective is to build a universal wrapper (microservice component) that enables the execution of Airbyte connectors within Keboola’s component architecture, emphasizing scalability, maintainability, and seamless integration. The thesis includes an analysis of DataOps platforms, a technical and business evaluation of open-source connector usage, and a comparison of integration approaches. The proposed wrapper is based on the PyAirbyte library and supports connector execution within Keboola’s component model. The implementation covers architecture design, example components for Klaviyo and Amazon Ads, and functional testing. The resulting solution enables Keboola to expand its data source portfolio more efficiently, increases flexibility, and reduces development and maintenance costs. The thesis also highlights potential risks related to external tool integration and proposes strategies for risk mitigation. |
| Keywords: |
DataOps; Keboola; Airbyte; Wrapper; Data Connectors; Open-Source |
Information about study
| Study programme: |
Data a analytika pro business |
| Type of study programme: |
Magisterský studijní program |
| Assigned degree: |
Ing. |
| Institutions assigning academic degree: |
Vysoká škola ekonomická v Praze |
| Faculty: |
Faculty of Informatics and Statistics |
| Department: |
Department of Information Technologies |
Information on submission and defense
| Date of assignment: |
1. 11. 2024 |
| Date of submission: |
5. 5. 2025 |
| Date of defense: |
2025 |
Files for download
The files will be available after the defense of the thesis.