Effectiveness of Autonomous Software Testing Using a Selected Tool

Thesis title: Efektivita autonomního testování software za využití nástroje
Author: Tran Nguyenová, Hoang Anh
Thesis type: Diplomová práce
Supervisor: Vojíř, Stanislav
Opponents: Doležel, Michal
Thesis language: Česky
Abstract:
Diplomová práce se zaměřuje na efektivitu autonomního a agentně podporovaného testování softwaru v prostředí aplikace KN Proxy. Jejím cílem je posoudit možnosti využití agentních nástrojů při přípravě testů a porovnat je s manuálním ověřením a ručně vytvořenou automatizací v nástroji Robot Framework. Teoretická část vymezuje roli testování softwaru, porovnává manuální, automatizovaný a autonomní přístup a shrnuje aktuální trendy využití umělé inteligence v oblasti QA. Navazující část vychází ze sady scénářů pro aplikaci KN Proxy, které jsou nejprve ověřeny manuálně, poté převedeny do Robot Frameworku a následně zpracovány pomocí nástrojů AutoGen Studio, LangGraph a CrewAI. Výstupy jsou hodnoceny podle předem stanovených kritérií zaměřených zejména na praktickou použitelnost, srozumitelnost, technickou správnost, míru nutných úprav, opakovatelnost a možnost začlenění do vývojového procesu. Zjištění ukazují, že agentní nástroje mohou být užitečné především při přípravě prvního návrhu testu a při strukturování vstupního zadání. Jejich praktická využitelnost však závisí na kvalitě zadání, konkrétním nástroji a technické náročnosti testovaného scénáře. Výsledky tak naznačují, že autonomní a agentně podporované testování má v oblasti QA praktický potenciál, zejména jako podpůrný prostředek při práci zkušeného testera.
Keywords: autonomní testování; agentně podporované testování; automatizované testování; Robot Framework; AutoGen Studio; LangGraph; CrewAI; AI v testování; testovací artefakty; CI/CD
Thesis title: Effectiveness of Autonomous Software Testing Using a Selected Tool
Author: Tran Nguyenová, Hoang Anh
Thesis type: Diploma thesis
Supervisor: Vojíř, Stanislav
Opponents: Doležel, Michal
Thesis language: Česky
Abstract:
This master's thesis examines the effectiveness of autonomous and agent-supported software testing in the context of the KN Proxy application. The aim is to evaluate the potential of agent-based tools in test preparation and compare them with manual testing and hand-crafted automation built in Robot Framework. The theoretical part defines the role of software testing, contrasts manual, automated, and autonomous approaches, and reviews current trends in the application of artificial intelligence to QA. The following part draws on a set of test scenarios for KN Proxy, which are first verified manually, then implemented as Robot Framework tests, and finally processed using AutoGen Studio, LangGraph, and CrewAI. The resulting outputs are assessed against predefined criteria covering practical usability, clarity, technical correctness, the extent of required modifications, repeatability, and suitability for integration into the development process. The findings indicate that agent-based tools are most valuable at the early stages of test preparation, particularly for drafting an initial test structure and organizing the input specification. Their practical applicability, however, varies depending on the quality of the input, the tool used, and the technical complexity of the scenario. Overall, the results suggest that autonomous and agent-supported testing has practical potential in QA, particularly as a supporting tool for experienced testers.
Keywords: CI/CD; autonomous testing; agent-supported testing; automated testing; Robot Framework; AutoGen Studio; LangGraph; CrewAI; AI in testing; testing artefacts

Information about study

Study programme: Znalostní a webové technologie
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 26. 6. 2025
Date of submission: 25. 6. 2026
Date of defense: 9. 9. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/92854/podrobnosti

Files for download

    Last update: