Apache Hadoop as analytics platform
Thesis title: | Apache Hadoop jako analytická platforma |
---|---|
Author: | Brotánek, Jan |
Thesis type: | Diplomová práce |
Supervisor: | Novotný, Ota |
Opponents: | Kerol, Valeria |
Thesis language: | Česky |
Abstract: | Diplomová práce se zabývá použitím platformy Hadoop při zpracování velkého objemu dat a
její integrací do stávající architektury datového skladu. V teoretické části jsou popsány
vlastnosti Big Data, charakteristiky jejich metod a výpočetních modelů. Podrobně je popsán
framework Hadoop, jeho komponenty a distribuce, v níž jsou dodávány. Jsou popsány
komponenty frameworku, které umožňují použití frameworku Hadoop a přístup do clusteru
uživatelům, vývojářům a analytikům.
V praktické části práce je realizována případová studie ELT procesu dávkové extrakce dat
nástrojem Sqoop ze stávajícího datového skladu na platformě Oracle, jejich transformace
v relačních strukturách komponenty Hive a následné dohrání dat zpět do datového skladu.
Pozornost je věnována způsobu uložení dat, jejich kompresi a souborovému formátu a rychlosti
vykonání dotazů nad nimi. V průběhu procesu jsou data porovnávána vůči zdroji a tím zajištěna
jejich kvalita. Část praktické práce je věnována problematice tokových dat. Jejich ukládání a
zpracování je demonstrováno v nástrojích Flume a Pig
Cílem práce je přesunutí části dat a výpočtů nad nimi realizovaných ze stávajícího datového
skladu do prostředí Hadoop. Za tímto účelem byl navržen proces integrace stávajícího datového
skladu s komponentami distribuce Hortonworks Data Platform. |
Keywords: | Pig; Big Data; HDP; Hortonworks Data Platform; HDFS; Hive ; Microstrategy; Business Intelligence; Hadoop; Oracle; Ambari; NiFi; Flume; ELT; Sqoop |
Thesis title: | Apache Hadoop as analytics platform |
---|---|
Author: | Brotánek, Jan |
Thesis type: | Diploma thesis |
Supervisor: | Novotný, Ota |
Opponents: | Kerol, Valeria |
Thesis language: | Česky |
Abstract: | Diploma Thesis focuses on integrating Hadoop platform into current data warehouse architecture. In theoretical part, properties of Big Data are described together with their methods and processing models. Hadoop framework, its components and distributions are discussed. Moreover, compoments which enables end users, developers and analytics to access Hadoop cluster are described.
Case study of batch data extraction from current data warehouse on Oracle platform with aid of Sqoop tool, their transformation in relational structures of Hive component and uploading them back to the original source is being discussed at practical part of thesis. Compression of data and efficiency of queries depending on various storage formats is also discussed. Quality and consistency of manipulated data is checked during all phases of the process. Fraction of practical part discusses ways of storing and capturing stream data. For this purposes tool Flume is used to capture stream data. Further this data are transformed in Pig tool.
Purpose of implementing the process is to move part of data and its processing from current data warehouse to Hadoop cluster. Therefore process of integration of current data warehouse and Hortonworks Data Platform and its components, was designed |
Keywords: | Microstrategy; Oracle; Pig; Hive; HDFS; Ambari; HDP; Hortonworks Data Platform; NiFi; Sqoop; Business Intelligence; Hadoop; Big Data; ELT; Flume |
Information about study
Study programme: | Aplikovaná informatika/Informační systémy a technologie |
---|---|
Type of study programme: | Magisterský studijní program |
Assigned degree: | Ing. |
Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
Faculty: | Faculty of Informatics and Statistics |
Department: | Department of Information Technologies |
Information on submission and defense
Date of assignment: | 26. 10. 2016 |
---|---|
Date of submission: | 1. 5. 2017 |
Date of defense: | 5. 6. 2017 |
Identifier in the InSIS system: | https://insis.vse.cz/zp/59423/podrobnosti |