Minimalizace nákladů generativních dialogových systémů
Autor(ka) práce:
Musilová, Natalie
Typ práce:
Diplomová práce
Vedoucí práce:
Vencovský, Filip
Oponenti práce:
Netolický, Petr
Jazyk práce:
Česky
Abstrakt:
Tato diplomová práce se zaměřila na minimalizaci nákladů generativních dialogových systémů, které propojují vyhledávání relevantních textových pasáží z dokumentů nebo databází a generování odpovědí pomocí GPT. Tento přístup je znám jako Retrieval-Augmented Generation (RAG) a kombinuje schopnosti efektivního vyhledávání informací s generativním modelováním, což umožňuje vytvářet přesnější a kontextově bohaté odpovědi. Hlavním cílem bylo minimalizovat provozní náklady a zvýšit přesnost systému. Výzkum zahrnoval tři experimenty zaměřené na zlepšení organizace a strukturování dat a na optimalizaci interakce mezi vyhledávací částí systému a generativní částí. Klíčovou inovací byl návrh mechanismu podmíněného výběru textů, který vyplynul z poznatků získaných během experimentů. Tento mechanismus výrazně snížil zatížení generátoru, eliminoval nadbytečné informace a zlepšil kvalitu odpovědí. Výsledky prokázaly, že zlepšení organizace dat, zavedení tematického seskupování dotazů a filtrování nerelevantních informací může zvýšit přesnost odpovědí až na 90 % a současně snížit provozní náklady systému až osmkrát. Praktická realizace systému byla demonstrována na platformě Streamlit. Práce přináší důležité poznatky pro návrh a implementaci moderních dialogových systémů, které jsou přizpůsobivé, efektivní a udržitelné. Výsledky a doporučení jsou aplikovatelné v akademickém i komerčním prostředí.
This thesis focuses on minimizing the operational costs of generative dialogue systems that combine the retrieval of relevant text passages from documents or databases with response generation using GPT. This approach, called Retrieval-Augmented Generation (RAG), merges efficient information retrieval with generative techniques to produce accurate, contextually rich responses. The primary goal was to reduce operational costs while improving system accuracy. The research comprised three experiments to enhance data organization, refine structuring methods, and optimize the interaction between retrieval and generative components. A key innovation was the creation of a conditional text selection mechanism, developed based on experimental insights. This mechanism effectively reduced the generator's workload, eliminated redundant information, and improved response quality. The results demonstrated that improved data organization, thematic clustering of queries, and filtering of irrelevant information boosted response accuracy to 90% while reducing operational costs by up to eightfold. The system’s practical implementation was showcased on the Streamlit platform. This thesis offers valuable insights into designing and implementing adaptive, efficient, and sustainable modern dialogue systems. Its findings and recommendations are relevant to both academic research and commercial applications.