Návrh a implementace microservice komponenty pro data-ops platformu Keboola
| Název práce: | Návrh a implementace microservice komponenty pro data-ops platformu Keboola |
|---|---|
| Autor(ka) práce: | Borner, Daniel |
| Typ práce: | Diplomová práce |
| Vedoucí práce: | Novotný, Ota |
| Oponenti práce: | Ešner, David |
| Jazyk práce: | Česky |
| Abstrakt: | Tato diplomová práce se zabývá návrhem a implementací softwarové komponenty pro integraci open-source datových konektorů z platformy Airbyte do DataOps platformy Keboola. Hlavním cílem je vytvořit univerzální wrapper (microservice komponentu) umožňující provoz Airbyte konektorů v architektuře Keboola komponent, s důrazem na škálovatelnost, udržitelnost a snadnou integraci. Práce obsahuje analýzu DataOps platforem, technickou i business analýzu využití open-source konektorů a porovnání přístupů k jejich integraci. Navržený wrapper je založen na knihovně PyAirbyte a podporuje spouštění konektorů v rámci komponentového modelu Keboola. Součástí práce je návrh architektury, implementace komponent pro služby Klaviyo a Amazon Ads a testování funkčnosti. Výsledné řešení umožňuje Keboola platformě rychleji rozšiřovat portfolio datových zdrojů, zvyšuje flexibilitu a přináší úspory ve vývoji a údržbě komponent. Práce zároveň poukazuje na rizika spojená s integrací externích nástrojů a navrhuje způsoby jejich mitigace. |
| Klíčová slova: | Keboola; Airbyte; Wrapper; Datové konektory; Open-source; DataOps |
| Název práce: | Design and Implementation of a Microservice Component for the Data-Ops Platform Keboola |
|---|---|
| Autor(ka) práce: | Borner, Daniel |
| Typ práce: | Diploma thesis |
| Vedoucí práce: | Novotný, Ota |
| Oponenti práce: | Ešner, David |
| Jazyk práce: | Česky |
| Abstrakt: | This thesis focuses on the design and implementation of a software component for integrating open-source data connectors from the Airbyte platform into the Keboola DataOps platform. The main objective is to build a universal wrapper (microservice component) that enables the execution of Airbyte connectors within Keboola’s component architecture, emphasizing scalability, maintainability, and seamless integration. The thesis includes an analysis of DataOps platforms, a technical and business evaluation of open-source connector usage, and a comparison of integration approaches. The proposed wrapper is based on the PyAirbyte library and supports connector execution within Keboola’s component model. The implementation covers architecture design, example components for Klaviyo and Amazon Ads, and functional testing. The resulting solution enables Keboola to expand its data source portfolio more efficiently, increases flexibility, and reduces development and maintenance costs. The thesis also highlights potential risks related to external tool integration and proposes strategies for risk mitigation. |
| Klíčová slova: | DataOps; Keboola; Airbyte; Wrapper; Data Connectors; Open-Source |
Informace o studiu
| Studijní program / obor: | Data a analytika pro business |
|---|---|
| Typ studijního programu: | Magisterský studijní program |
| Přidělovaná hodnost: | Ing. |
| Instituce přidělující hodnost: | Vysoká škola ekonomická v Praze |
| Fakulta: | Fakulta informatiky a statistiky |
| Katedra: | Katedra informačních technologií |
Informace o odevzdání a obhajobě
| Datum zadání práce: | 1. 11. 2024 |
|---|---|
| Datum podání práce: | 5. 5. 2025 |
| Datum obhajoby: | 9. 6. 2025 |
| Identifikátor v systému InSIS: | https://insis.vse.cz/zp/90964/podrobnosti |