Návrh a implementace microservice komponenty pro data-ops platformu Keboola
Autor(ka) práce:
Borner, Daniel
Typ práce:
Diplomová práce
Vedoucí práce:
Novotný, Ota
Oponenti práce:
Ešner, David
Jazyk práce:
Česky
Abstrakt:
Tato diplomová práce se zabývá návrhem a implementací softwarové komponenty pro integraci open-source datových konektorů z platformy Airbyte do DataOps platformy Keboola. Hlavním cílem je vytvořit univerzální wrapper (microservice komponentu) umožňující provoz Airbyte konektorů v architektuře Keboola komponent, s důrazem na škálovatelnost, udržitelnost a snadnou integraci. Práce obsahuje analýzu DataOps platforem, technickou i business analýzu využití open-source konektorů a porovnání přístupů k jejich integraci. Navržený wrapper je založen na knihovně PyAirbyte a podporuje spouštění konektorů v rámci komponentového modelu Keboola. Součástí práce je návrh architektury, implementace komponent pro služby Klaviyo a Amazon Ads a testování funkčnosti. Výsledné řešení umožňuje Keboola platformě rychleji rozšiřovat portfolio datových zdrojů, zvyšuje flexibilitu a přináší úspory ve vývoji a údržbě komponent. Práce zároveň poukazuje na rizika spojená s integrací externích nástrojů a navrhuje způsoby jejich mitigace.
Design and Implementation of a Microservice Component for the Data-Ops Platform Keboola
Autor(ka) práce:
Borner, Daniel
Typ práce:
Diploma thesis
Vedoucí práce:
Novotný, Ota
Oponenti práce:
Ešner, David
Jazyk práce:
Česky
Abstrakt:
This thesis focuses on the design and implementation of a software component for integrating open-source data connectors from the Airbyte platform into the Keboola DataOps platform. The main objective is to build a universal wrapper (microservice component) that enables the execution of Airbyte connectors within Keboola’s component architecture, emphasizing scalability, maintainability, and seamless integration. The thesis includes an analysis of DataOps platforms, a technical and business evaluation of open-source connector usage, and a comparison of integration approaches. The proposed wrapper is based on the PyAirbyte library and supports connector execution within Keboola’s component model. The implementation covers architecture design, example components for Klaviyo and Amazon Ads, and functional testing. The resulting solution enables Keboola to expand its data source portfolio more efficiently, increases flexibility, and reduces development and maintenance costs. The thesis also highlights potential risks related to external tool integration and proposes strategies for risk mitigation.
Klíčová slova:
DataOps; Keboola; Airbyte; Wrapper; Data Connectors; Open-Source