Use of Elastic Stack technology for log collection and analysis
| Thesis title: | Využití technologie Elastic Stack pro sběr a analýzu logů |
|---|---|
| Author: | Řádková, Pavla |
| Thesis type: | Bakalářská práce |
| Supervisor: | Pokorný, Jan |
| Opponents: | Sklenák, Vilém |
| Thesis language: | Česky |
| Abstract: | Tato bakalářská práce se zabývá technologií Elastic Stack jakožto světově nejrozšířenější a nejpopulárnější technologií pro účely sběru logů a jejím praktickým využitím právě pro automatický sběr logů ze serveru a následnou analýzu pomocí nástroje Kibana, který je součástí Elastic Stacku. Nejdříve je teoreticky popsán proces logování a jeho důležitost, včetně komunikace protokolu HTTP, následuje teoretický popis technologie Elastic Stack (součástí je Elasticsearch, Logstash, Kibana a Beats), poté pokračuje práce částí, která je věnovaná konkrétní konfiguraci jednotlivých nástrojů sady Elastic Stack v praxi a praktickým ukázkám využití Elastic Stacku s důrazem na nejvyužívanější možnosti nástroje Kibana pro zjišťování dat a jejich vizualizace. Cílem práce je prozkoumat technologii Elastic Stack a následně usnadnit monitorování serveru a namísto nečitelných logů, kterých ze serveru chodí mnoho, definovat časté kritické momenty (např. chybová stránka 404 nebo 500) a vytvořit v Kibaně vizualizace, které vývojáři nebo analytikovi jednoznačně a okamžitě ukáží, jak často k danému problému došlo ve vybraném čase. Také je cílem ukázat, jak může být celý proces logování zjednodušený, když jsou využity možnosti automatického logování. |
| Keywords: | Elastic Stack; Elasticsearch; analýza logů; Kibana; log; Filebeat; logování; Logstash |
| Thesis title: | Use of Elastic Stack technology for log collection and analysis |
|---|---|
| Author: | Řádková, Pavla |
| Thesis type: | Bachelor thesis |
| Supervisor: | Pokorný, Jan |
| Opponents: | Sklenák, Vilém |
| Thesis language: | Česky |
| Abstract: | This bachelor thesis deals with the Elastic Stack technology as the world's most widely used and the most popular technology for purposes of logging and its practical use for automatic log collecting from the server and subsequent analysis using the Kibana tool, which is part of the Elastic Stack. First, the logging process, including HTTP communication, and its importance is theoretically described. Then the section with a theoretical description of Elastic Stack (including Elasticsearch, Logstash, Kibana, and Beats) follows. The third section of this thesis is dedicated to the description of the particular configuration of each tool of Elastic Stack in practice and practical demonstrations of the use of Elastic Stack, with emphasis on the most widely used data acquisition and visualization capabilities of Kibana tool. The aim of the bachelor thesis is to explore Elastic Stack and to facilitate the monitoring of the server and to define frequent critical moments (for example 404 or 500 error page) and to create visualizations in Kibana that clearly and immediately show to the developer or analyst how often the problem occurred in the selected time period. However, the aim is also to show how the entire logging process can be simple when using automatic logging. |
| Keywords: | Elastic Stack; Elasticsearch; Filebeat; Kibana; log analysis; log file; logging; Logstash |
Information about study
| Study programme: | Aplikovaná informatika/Informační média a služby |
|---|---|
| Type of study programme: | Bakalářský studijní program |
| Assigned degree: | Bc. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information and Knowledge Engineering |
Information on submission and defense
| Date of assignment: | 10. 2. 2019 |
|---|---|
| Date of submission: | 2. 5. 2019 |
| Date of defense: | 20. 6. 2019 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/68556/podrobnosti |