Integrace Big Data a datového skladu
| Název práce: | Integrace Big Data a datového skladu |
|---|---|
| Autor(ka) práce: | Kiška, Vladislav |
| Typ práce: | Diplomová práce |
| Vedoucí práce: | Novotný, Ota |
| Oponenti práce: | Kerol, Valeria |
| Jazyk práce: | Česky |
| Abstrakt: | Diplomová práce se zabývá problémem datové integrace Big Data platformy a podnikového datového skladu. Hlavním cílem je vytvoření přenosového systému, který pomocí vhodně zvoleného nástroje bude přenášet data z datového skladu na tuto platformu a bude udržovat informace o všech realizovaných přenosech.
V teoretické části se práce soustředí na představení pojmu Big Data, stručný vývoj těchto technologií a faktory, které vedly k potřebě těchto technologií. Dále jsou představeny hlavní principy a vlastnosti těchto technologií a přínos jejich implementace do podniku. Práce popisuje také nástroje a přístupy označované jako Business Intelligence, jejich typické použití v podniku a jejich vztah k technologiím Big Data. Dílčí podkapitola se také věnuje systému Hadoop a nejpopulárnějším technologiím, které s ním souvisí.
Praktická část se věnuje konkrétní vzorové implementaci tohoto aparátu, který bude realizovat přenosy z klasické relační databáze, představující datový sklad, do clusteru několika počítačů provozujících systém Hadoop. Součástí praktické části je také přehled několika možných nástrojů, které se aktuálně používají pro nahrávání dat do Hadoopu a návrh databázového schématu metadat, které bude sloužit k řízení celého systému a udržování informací o proběhlých přenosech. |
| Klíčová slova: | datová integrace; Business Intelligence; Big Data; Sqoop; Hadoop; datové sklady |
| Název práce: | Integration of Big Data and data warehouse |
|---|---|
| Autor(ka) práce: | Kiška, Vladislav |
| Typ práce: | Diploma thesis |
| Vedoucí práce: | Novotný, Ota |
| Oponenti práce: | Kerol, Valeria |
| Jazyk práce: | Česky |
| Abstrakt: | Master thesis deals with a problem of data integration between Big Data platform and enterprise data warehouse. Main goal of this thesis is to create a complex transfer system to move data from a data warehouse to this platform using a suitable tool for this task. This system should also store and manage all metadata information about previous transfers.
Theoretical part focuses on describing concepts of Big Data, brief introduction into their history and presents factors which led to need for this new approach. Next chapters describe main principles and attributes of these technologies and discuss benefits of their implementation within an enterprise. Thesis also describes technologies known as Business Intelligence, their typical use cases and their relation to Big Data. Minor chapter presents main components of Hadoop system and most popular related applications.
Practical part of this work consists of implementation of a system to execute and manage transfers from traditional relation database, in this case representing a data warehouse, to cluster of a few computers running a Hadoop system. This part also includes a summary of most used applications to move data into Hadoop and a design of database metadata schema, which is used to manage these transfers and to store transfer metadata. |
| Klíčová slova: | data integration; data warehouse; Sqoop; Hadoop; Business Intelligence; Big Data |
Informace o studiu
| Studijní program / obor: | Aplikovaná informatika/Podniková informatika |
|---|---|
| Typ studijního programu: | Magisterský studijní program |
| Přidělovaná hodnost: | Ing. |
| Instituce přidělující hodnost: | Vysoká škola ekonomická v Praze |
| Fakulta: | Fakulta informatiky a statistiky |
| Katedra: | Katedra informačních technologií |
Informace o odevzdání a obhajobě
| Datum zadání práce: | 30. 5. 2016 |
|---|---|
| Datum podání práce: | 1. 5. 2017 |
| Datum obhajoby: | 7. 6. 2017 |
| Identifikátor v systému InSIS: | https://insis.vse.cz/zp/57840/podrobnosti |