Implementation of an LLM-based Agentic System in Competitive Intelligence
Autor(ka) práce:
Hejl, Tomáš
Typ práce:
Diploma thesis
Vedoucí práce:
Černý, Jan
Oponenti práce:
Vencovský, Filip
Jazyk práce:
English
Abstrakt:
This thesis presents the design, implementation, and empirical evaluation of a prototype LLM-based multi-agent system for competitive intelligence (CI) in the European automotive industry. The implemented system continuously monitors patent and news data from the five major European players (Volkswagen Group, Stellantis, BMW Group, Mercedes-Benz Group, and Renault Group), generates daily summaries and strategic alerts, and provides analysts with a conversational interface for queries spanning both data sources. The system architecture combines a deterministic batch pipeline with a multiagent retrieval system built on the LangGraph framework. The methodological contribution of the thesis is an adaptation of the Innovation Patent Index (Ponta et al., 2021) to the per-patent level through two embedding-based signals with intra-applicant novelty and cross-applicant competitive overlap. The empirical evaluation on a corpus of 1 735 patents and a 21-day replay window combines manual annotation of 150 patents and 100 alerts with an independent LLM-as-a-judge evaluation. A central finding is the substantial construct dependency of “strategic relevance” across evaluation paradigms, which must be considered when formulating accuracy claims for competitive intelligence systems. The thesis further compares six models from the OpenAI GPT family in terms of latency, cost, and reliability, documents the iterative calibration of classification thresholds, and formulates recommendations for production deployment of LLM-based CI systems.
Klíčová slova:
large language models; early warning system; multi-agent systems; LangGraph; patent analysis; competitive intelligence; LLM-as-a-judge; automotive industry
Název práce:
Implementace Agentního Systému Založeného na LLM pro Competitive Intelligence
Autor(ka) práce:
Hejl, Tomáš
Typ práce:
Diplomová práce
Vedoucí práce:
Černý, Jan
Oponenti práce:
Vencovský, Filip
Jazyk práce:
English
Abstrakt:
Tato diplomová práce představuje návrh, implementaci a empirické vyhodnocení prototypu multi-agentního systému založeného na velkých jazykových modelech (LLM) pro účely competitive intelligence (CI) v evropském automobilovém průmyslu. Implementovaný systém průběžně monitoruje patentová a zpravodajská data pěti hlavních evropských výrobců (Volkswagen Group, Stellantis, BMW Group, Mercedes-Benz Group a Renault Group), generuje denní souhrny a strategické výstrahy a poskytuje analytikům konverzační rozhraní pro dotazy překlenující oba datové zdroje. Architektura systému kombinuje deterministickou dávkovou pipeline s multi-agentním retrieval systémem postaveným nad frameworkem LangGraph. Metodologickým přínosem práce je adaptace Innovation Patent Indexu (Ponta a kol., 2021) na úroveň jednotlivého patentu prostřednictvím dvou signálů odvozených z embeddingů, a to vnitřní novosti vůči portfoliu daného žadatele a mezi-žadatelského konkurenčního překryvu. Empirické vyhodnocení na korpusu 1 735 patentů a 21denním replay okně kombinuje manuální anotaci 150 patentů a 100 výstrah s nezávislou evaluací typu LLM-as-a-judge. Klíčovým nálezem je významná závislost konstruktu „strategické relevance" na zvoleném evaluačním paradigmatu, kterou je nutné zohlednit při formulaci tvrzení o přesnosti systémů competitive intelligence. Práce dále srovnává šest modelů z rodiny OpenAI GPT z hlediska latence, nákladů a spolehlivosti, dokumentuje iterativní kalibraci klasifikačních prahů a formuluje doporučení pro produkční nasazení CI systémů založených na LLM.
Klíčová slova:
systém včasného varování; velké jazykové modely; multi-agentní systémy; analýza patentů; competitive intelligence; LLM-as-a-judge; automobilový průmysl; LangGraph
Informace o studiu
Studijní program / obor:
Aplikovaná datová analytika a umělá inteligence/Datová analytika v marketingu a e-commerce