Automatic Repair of Failing Tests in Robot Framework Using Artificial Intelligence in a Banking Environment
| Thesis title: | Automatická oprava selhávajících testů v nástroji Robot Framework s využitím umělé inteligence v bankovním prostředí |
|---|---|
| Author: | Kuželová, Natálie |
| Thesis type: | Diplomová práce |
| Supervisor: | Karkošková, Soňa |
| Opponents: | Labuť, Ondřej |
| Thesis language: | Česky |
| Abstract: | Automatizované testování grafického uživatelského rozhraní (GUI) představuje klíčovou součást zajištění kvality webových aplikací, jeho dlouhodobá udržitelnost je však narušována častými změnami uživatelského rozhraní, které způsobují selhání testů v důsledku neplatných lokátorů prvků. Tradiční samoopravné přístupy založené na heuristikách a záložních lokátorech selhávají zejména při komplexnějších změnách struktury DOM. Cílem práce je navrhnout, implementovat a vyhodnotit samoopravný mechanismus automatizovaných webových testů v prostředí Robot Frameworku s využitím velkých jazykových modelů (LLM) a posoudit jeho nasaditelnost v regulovaném bankovním prostředí. Praktická část práce zahrnuje návrh vlastní integrační vrstvy, která adaptuje knihovnu RobotFramework-Heal pro použití v prostředí s privátními Azure OpenAI endpointy a dynamickou správou autentizačních tokenů z databáze KeePass. Mechanismus byl vyhodnocen na sadě 45 řízených experimentů simulujících pět mutačních operátorů na reálné bankovní aplikaci, přičemž každý případ byl spuštěn pětkrát. Úspěšnost oprav dosáhla 84,4 % (95% CI: 71,2 %–92,3 %). Pro srovnání byl souběžně měřen heuristický mechanismus bez LLM, který dosáhl shodné celkové úspěšnosti, avšak s pětinásobně vyšším počtem falešně pozitivních oprav. Průměrná doba zotavení LLM mechanismu činila 2,1 minuty oproti 2,7 minuty u heuristiky a odhadovaným 15 minutám manuální opravy jednoho lokátoru. Výsledky ukazují, že integrace LLM do samoopravného testování je technicky realizovatelná i v prostředí s přísnými bezpečnostními omezeními, přináší měřitelnou úsporu kapacit QA týmu a kvalitativně překonává heuristický přístup zejména v oblasti falešně pozitivních oprav. |
| Keywords: | LLM; large language model; Azure OpenAI; Samooprava; Robot Framework; automatizované testování; GUI testování; lokátor; bankovní prostředí; Design Science Research |
| Thesis title: | Automatic Repair of Failing Tests in Robot Framework Using Artificial Intelligence in a Banking Environment |
|---|---|
| Author: | Kuželová, Natálie |
| Thesis type: | Diploma thesis |
| Supervisor: | Karkošková, Soňa |
| Opponents: | Labuť, Ondřej |
| Thesis language: | Česky |
| Abstract: | Automated testing of graphical user interfaces (GUI) is a key component of web application quality assurance; however, its long-term maintainability is frequently disrupted by UI changes that invalidate element locators. Traditional self-healing approaches based on heuristics and fallback locators fail particularly when faced with complex DOM structure changes. The aim of this thesis is to design, implement, and evaluate a self-healing mechanism for automated web tests in the Robot Framework environment using large language models (LLMs), and to assess its deployability in a regulated banking environment. The practical part includes the design of a custom integration layer adapting the RobotFramework-Heal library for use with private Azure OpenAI endpoints and dynamic authentication token management via KeePass. The mechanism was evaluated across 45 controlled experiments simulating five mutation operators on a real banking application, with each case executed five times. The consistent repair success rate reached 84.4%. A parallel comparison with the heuristic mechanism without LLM showed identical overall success rates, but the heuristic produced five times more false positive repairs. Average LLM recovery time was 2.1 minutes, compared to 2.7 minutes for the heuristic mechanism and an estimated 15 minutes for manual repair per locator. The results demonstrate that LLM integration into self-healing test automation is technically feasible even in environments with strict security constraints, delivers measurable savings in QA team capacity, and qualitatively outperforms the heuristic approach in terms of false positive repairs. |
| Keywords: | Selfhealing; locator; LLM; large language model; Robot Framework; Azure OpenAI; automated testing; GUI testing; banking environment; Design Science Research |
Information about study
| Study programme: | Informační systémy a technologie/Vývoj informačních systémů |
|---|---|
| Type of study programme: | Magisterský studijní program |
| Assigned degree: | Ing. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information Technologies |
Information on submission and defense
| Date of assignment: | 12. 5. 2025 |
|---|---|
| Date of submission: | 4. 5. 2026 |
| Date of defense: | 3. 6. 2026 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/92367/podrobnosti |