Leveraging AI to support digital operational resilience for the financial sector (DORA)

Thesis title: Využití AI pro digitální provozní odolnost finančního sektoru (DORA)
Author: Augustin, Tomáš
Thesis type: Diplomová práce
Supervisor: Sedláček, Jiří
Opponents: Bukovský, Jan
Thesis language: Česky
Abstract:
Tato diplomová práce se zabývá možnostmi využití generativní umělé inteligence pro podporu plnění požadavků nařízení DORA. Cílem práce je analyzovat vybrané prakticky významné požadavky DORA a na základě této analýzy navrhnout, implementovat a experimentálně vyhodnotit prototyp konverzačního asistenta založeného na architektuře Retrieval-Augmented Generation (RAG). Teoretická část shrnuje legislativní rámec DORA se zaměřením na řízení ICT rizik, klasifikaci a hlášení incidentů, testování digitální provozní odolnosti a řízení rizik ICT třetích stran. Praktická část popisuje návrh znalostní báze, iterativní vývoj strategie chunkingu, konfiguraci retrieval pipeline v prostředí Dify a využití query rewriting a rerankingu. Prototyp byl vyhodnocen na datasetu 15 testovacích scénářů pomocí frameworku RAGAS, doplněného ručním auditem citací a pilotní expertní evaluací se dvěma respondenty. Ve finální konfiguraci dosáhl prototyp těchto hodnot metrik: průměrné faithfulness 0,75, answer relevancy 0,56, context precision 0,73 a context recall 0,58. Zavedení query rewriting vrstvy přineslo nárůst context recall o 102 %. Ruční audit citací ukázal plnou citační správnost u 60 % odpovědí a částečnou u dalších 33 %, přičemž identifikované limity se koncentrovaly u dotazů vyžadujících specifická ustanovení z hlavního nařízení DORA. Pilotní expertní evaluace naznačuje, že nástroj může zkrátit úvodní fázi rešerše, zejména u uživatelů bez detailní znalosti regulace. Na základě provedeného návrhu a evaluace lze uzavřít, že no-code/low-code RAG přístup je pro oblast DORA technicky proveditelný, přičemž největší výzvou zůstává retrieval nad rozsáhlými dokumenty a syntéza napříč více zdroji. Praktické využití je vhodné chápat jako podporu první orientace, nikoliv jako náhradu odborného regulatorního posouzení.
Keywords: digitální provozní odolnost; finanční sektor; generativní umělá inteligence; Retrieval-Augmented Generation (RAG); DORA
Thesis title: Leveraging AI to support digital operational resilience for the financial sector (DORA)
Author: Augustin, Tomáš
Thesis type: Diploma thesis
Supervisor: Sedláček, Jiří
Opponents: Bukovský, Jan
Thesis language: Česky
Abstract:
This master's thesis explores the possibilities of using generative artificial intelligence to support meeting DORA requirements. The aim of the thesis is to analyze selected, practically significant DORA requirements and, based on this analysis, to design, implement, and experimentally evaluate a prototype of a conversational assistant based on the Retrieval-Augmented Generation (RAG) architecture. The theoretical part summarizes the DORA legislative framework, focusing on ICT risk management, incident classification and reporting, digital operational resilience testing, and ICT third-party risk management. The practical part describes the design of the knowledge base, the iterative development of a chunking strategy, the configuration of the retrieval pipeline in the Dify environment, and the use of query rewriting and reranking. The prototype was evaluated on a dataset of 15 test scenarios using the RAGAS framework, supplemented by a manual citation audit and a pilot expert evaluation with two respondents. In its final configuration, the prototype achieved the following metric values: average faithfulness of 0.75, answer relevancy of 0.56, context precision of 0.73, and context recall of 0.58. The introduction of a query rewriting layer resulted in a 102% increase in context recall. A manual citation audit demonstrated full citation accuracy in 60% of the answers and partial accuracy in another 33%, with the identified limitations concentrated around queries requiring specific provisions from the main DORA text. The pilot expert evaluation suggests that the tool can shorten the initial desk research phase, especially for users without detailed knowledge of the regulation. Based on the design and evaluation conducted, it can be concluded that a no-code/low-code RAG approach is technically feasible for DORA related use cases, with the greatest challenge remaining retrieval over extensive documents and synthesis across multiple sources. Its practical application should be understood as support for initial orientation, not as a substitute for professional regulatory assessment.
Keywords: Retrieval-Augmented Generation (RAG); DORA; digital operational resilience; financial sector; generative artificial intelligence

Information about study

Study programme: Informační management
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Systems Analysis

Information on submission and defense

Date of assignment: 22. 9. 2025
Date of submission: 3. 5. 2026
Date of defense: 3. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/93473/podrobnosti

Files for download

    Last update: