Implementation of a solution for analysis and presentation of software performance test results

Thesis title: Implementace řešení pro analýzu a prezentaci výsledků zátěžových testů softwaru
Author: Kinkor, Jiří
Thesis type: Diplomová práce
Supervisor: Novotný, Ota
Opponents: Pour, Jan
Thesis language: Česky
Abstract:
Diplomová práce se zabývá analytickou vrstvou nad zátěžovými testy softwaru. Toto téma propojuje dvě domény, a to testování výkonnosti a datovou analýzu. Hlavním cílem této práce je vytvořit řešení pro analýzu a prezentaci výsledků zátěžových testů softwaru v dané organizaci. V úvodu práce dochází k představení klíčových oblastí analytické vrstvy nad zátěžovými testy a k vymezení teoretických koncepcí z těchto oblastí. Následně je provedena analýza současného stavu organizace v oblasti zátěžového testování, na jejímž základě dochází k popsání stávajících nedostatků při hodnocení a reportování dosažených výsledků, identifikaci klíčových skupin konzumentů těchto výsledků, sběru požadavků na cílové řešení a identifikaci dat, které představují výstupy ze zátěžových testů. Dále dochází k návrhu architektury analytické vrstvy, včetně návrhu na rozšíření stávajícího logování nástroje pro generování zátěže a monitorování systému během prováděného testu. Následně je navržená architektura implementována. Implementované řešení přináší organizaci schopnost vyhodnotit daný test a v případě problémů identifikovat problémové oblasti systému, porovnat výsledky ze dvou zátěžových běhů nebo sledovat trendy ve výkonnosti systému. Hlavním výstupem je sada dashboardů, které doručují požadovanou informační hodnotu identifikovaným skupinám konzumentů. Řešení je zavedeno jako PoC (Proof of Concept), za použití nástrojů FileBeat, Logstash, OpenSearch a OpenSearch Dashboards. Řešení jako celek přispívá ke standardizaci zaváděného procesu zátěžového testování v dané organizaci a výrazně rozšiřuje dosavadní možnosti vyhodnocování a reportování výsledků ze zátěžových testů. Závěrem jsou doporučeny kroky pro nasazení do produkčního prostředí organizace a další možný rozvoj řešení.
Keywords: Locust; zátěžové testování; analytické řešení; OpenSearch; reporting
Thesis title: Implementation of a solution for analysis and presentation of software performance test results
Author: Kinkor, Jiří
Thesis type: Diploma thesis
Supervisor: Novotný, Ota
Opponents: Pour, Jan
Thesis language: Česky
Abstract:
The thesis deals with the analytical layer above software performance tests. This topic links two domains – performance testing and data analysis. The main objective of this thesis is to develop a solution for analysing and presenting the results of software performance tests in a given organization. The thesis starts by introducing the key areas of the analytical layer and defining the theoretical concepts from these areas. This is followed by an analysis of the current state of the organization in performance testing, which leads to a description of the current gaps in the evaluation and reporting of the results achieved, the identification of the key groups of consumers of these results, the collection of requirements for the target solution, and the identification of the data that represent the outputs of the performance tests. In addition, the architecture of the analysis layer is proposed, including a proposal for extending current logging of load generation tool and extending monitor the system during the test execution. Subsequently, the proposed architecture is implemented. The implemented solution provides the organization with the ability to evaluate, and in the event of problems, identify problem areas in the system, compare results from two runs, or monitor trends in system performance. The main output is a set of dashboards that deliver the desired information value to identified user groups. The solution is implemented as a PoC (Proof of Concept), using FileBeat, Logstash, OpenSearch and OpenSearch Dashboards. The solution contributes to the standardization of the performance testing process in the organization and significantly expands the existing capabilities for evaluating and reporting results. Finally, steps are recommended for deployment to the production environment and further possible development of the solution.
Keywords: performance testing; Locust; analytical solution; OpenSearch; reporting

Information about study

Study programme: Informační systémy a technologie/Business Intelligence
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information Technologies

Information on submission and defense

Date of assignment: 1. 10. 2023
Date of submission: 28. 4. 2024
Date of defense: 29. 5. 2024
Identifier in the InSIS system: https://insis.vse.cz/zp/86274/podrobnosti

Files for download

    Last update: