Inženýrství produkčních AI agentů: Evaluace řízení nástrojů a kontextu v marketingových procesech na základě trasování
| Název práce: | Engineering Production-Grade AI Agents: A Trace-Based Evaluation of Tool Governance and Context in Marketing Workflows |
|---|---|
| Autor(ka) práce: | Kossygin, Danila |
| Typ práce: | Diploma thesis |
| Vedoucí práce: | Umlauf, Miroslav |
| Oponenti práce: | Potančok, Martin |
| Jazyk práce: | English |
| Abstrakt: | This thesis addresses the engineering disciplines required for reliable AI agents in production environments. Model choice alone does not produce reliability in production e-commerce environments. The primary objective is to design, implement, and empirically evaluate an engineering methodology that treats agent reliability as a systems-engineering problem within a live marketing-workflow setting. The research adopts a design-and-validation strategy within the empirical domain of multi-market e-commerce marketing workflows spanning content generation, Product Discovery, and structured data transformation tasks. Agent design is decomposed into three distinct dimensions: context provisioning, tool governance, and orchestration. The methodology is instantiated in a deployed production artifact and evaluated through a trace-based harness across five architectural configurations, holding the model version constant to isolate the effect of engineering decisions on reliability. The original contribution has three linked parts: a deployed reference architecture for multi-market marketing workflows, an engineering methodology isolating three separately measurable design dimensions, and a trace-based evaluation harness enabling controlled attribution of reliability changes across the V0→V4 progression. The author designed and implemented a layered context architecture replacing monolithic system prompts, a resilience-oriented tool governance layer based on the Model Context Protocol (MCP), and a hierarchical multi-agent orchestration framework. |
| Klíčová slova: | production reliability; context engineering; trace-based evaluation; AI agent; agentic systems; tool governance |
| Název práce: | Inženýrství produkčních AI agentů: Evaluace řízení nástrojů a kontextu v marketingových procesech na základě trasování |
|---|---|
| Autor(ka) práce: | Kossygin, Danila |
| Typ práce: | Diplomová práce |
| Vedoucí práce: | Umlauf, Miroslav |
| Oponenti práce: | Potančok, Martin |
| Jazyk práce: | English |
| Abstrakt: | Tato diplomová práce se zaměřuje na inženýrské postupy nezbytné pro nasazení spolehlivých AI agentů v produkčním prostředí. Pouhá volba modelu k zajištění spolehlivosti v produkčním e-commerce prostředí nestačí. Hlavním cílem práce je navrhnout, implementovat a empiricky vyhodnotit inženýrskou metodiku, která k řešení spolehlivosti agentů přistupuje jako k problému systémového inženýrství v prostředí reálných marketingových procesech. Výzkum využívá strategii návrhu a validace v empirickém prostředí e-commerce marketingových procesů pro více trhů, zahrnujících generování obsahu, vyhledávání produktů a transformaci strukturovaných dat. Návrh agenta je rozdělen do tří dimenzí: správa kontextu, řízení nástrojů a orchestrace. Metodika je implementována do nasazeného produkčního artefaktu a hodnocena pomocí rámce pro evaluaci na základě trasování napříč pěti konfiguracemi při konstantní verzi modelu. Originální přínos práce zahrnuje nasazenou referenční architekturu pro marketingová workflow, inženýrskou metodiku izolující tři měřitelné dimenze návrhu a evaluační rámec umožňující přesné určení příčin změn spolehlivosti napříč progresí V0→V4. Autor implementoval vrstvenou architekturu kontextu, vrstvu řízení nástrojů postavenou na Model Context Protocol (MCP) a hierarchický orchestrační rámec pro multi-agentní systémy. |
| Klíčová slova: | AI agent; agentní systémy; produkční spolehlivost; řízení nástrojů; inženýrství kontextu; evaluace na základě trasování |
Informace o studiu
| Studijní program / obor: | Data a analytika pro business |
|---|---|
| Typ studijního programu: | Magisterský studijní program |
| Přidělovaná hodnost: | Ing. |
| Instituce přidělující hodnost: | Vysoká škola ekonomická v Praze |
| Fakulta: | Fakulta informatiky a statistiky |
| Katedra: | Katedra informačních technologií |
Informace o odevzdání a obhajobě
| Datum zadání práce: | 28. 2. 2026 |
|---|---|
| Datum podání práce: | 4. 5. 2026 |
| Datum obhajoby: | 4. 6. 2026 |
| Identifikátor v systému InSIS: | https://insis.vse.cz/zp/95865/podrobnosti |