Inženýrství produkčních AI agentů: Evaluace řízení nástrojů a kontextu v marketingových procesech na základě trasování

Název práce: Engineering Production-Grade AI Agents: A Trace-Based Evaluation of Tool Governance and Context in Marketing Workflows
Autor(ka) práce: Kossygin, Danila
Typ práce: Diploma thesis
Vedoucí práce: Umlauf, Miroslav
Oponenti práce: Potančok, Martin
Jazyk práce: English
Abstrakt:
This thesis addresses the engineering disciplines required for reliable AI agents in production environments. Model choice alone does not produce reliability in production e-commerce environments. The primary objective is to design, implement, and empirically evaluate an engineering methodology that treats agent reliability as a systems-engineering problem within a live marketing-workflow setting. The research adopts a design-and-validation strategy within the empirical domain of multi-market e-commerce marketing workflows spanning content generation, Product Discovery, and structured data transformation tasks. Agent design is decomposed into three distinct dimensions: context provisioning, tool governance, and orchestration. The methodology is instantiated in a deployed production artifact and evaluated through a trace-based harness across five architectural configurations, holding the model version constant to isolate the effect of engineering decisions on reliability. The original contribution has three linked parts: a deployed reference architecture for multi-market marketing workflows, an engineering methodology isolating three separately measurable design dimensions, and a trace-based evaluation harness enabling controlled attribution of reliability changes across the V0→V4 progression. The author designed and implemented a layered context architecture replacing monolithic system prompts, a resilience-oriented tool governance layer based on the Model Context Protocol (MCP), and a hierarchical multi-agent orchestration framework.
Klíčová slova: production reliability; context engineering; trace-based evaluation; AI agent; agentic systems; tool governance
Název práce: Inženýrství produkčních AI agentů: Evaluace řízení nástrojů a kontextu v marketingových procesech na základě trasování
Autor(ka) práce: Kossygin, Danila
Typ práce: Diplomová práce
Vedoucí práce: Umlauf, Miroslav
Oponenti práce: Potančok, Martin
Jazyk práce: English
Abstrakt:
Tato diplomová práce se zaměřuje na inženýrské postupy nezbytné pro nasazení spolehlivých AI agentů v produkčním prostředí. Pouhá volba modelu k zajištění spolehlivosti v produkčním e-commerce prostředí nestačí. Hlavním cílem práce je navrhnout, implementovat a empiricky vyhodnotit inženýrskou metodiku, která k řešení spolehlivosti agentů přistupuje jako k problému systémového inženýrství v prostředí reálných marketingových procesech. Výzkum využívá strategii návrhu a validace v empirickém prostředí e-commerce marketingových procesů pro více trhů, zahrnujících generování obsahu, vyhledávání produktů a transformaci strukturovaných dat. Návrh agenta je rozdělen do tří dimenzí: správa kontextu, řízení nástrojů a orchestrace. Metodika je implementována do nasazeného produkčního artefaktu a hodnocena pomocí rámce pro evaluaci na základě trasování napříč pěti konfiguracemi při konstantní verzi modelu. Originální přínos práce zahrnuje nasazenou referenční architekturu pro marketingová workflow, inženýrskou metodiku izolující tři měřitelné dimenze návrhu a evaluační rámec umožňující přesné určení příčin změn spolehlivosti napříč progresí V0→V4. Autor implementoval vrstvenou architekturu kontextu, vrstvu řízení nástrojů postavenou na Model Context Protocol (MCP) a hierarchický orchestrační rámec pro multi-agentní systémy.
Klíčová slova: AI agent; agentní systémy; produkční spolehlivost; řízení nástrojů; inženýrství kontextu; evaluace na základě trasování

Informace o studiu

Studijní program / obor: Data a analytika pro business
Typ studijního programu: Magisterský studijní program
Přidělovaná hodnost: Ing.
Instituce přidělující hodnost: Vysoká škola ekonomická v Praze
Fakulta: Fakulta informatiky a statistiky
Katedra: Katedra informačních technologií

Informace o odevzdání a obhajobě

Datum zadání práce: 28. 2. 2026
Datum podání práce: 4. 5. 2026
Datum obhajoby: 4. 6. 2026
Identifikátor v systému InSIS: https://insis.vse.cz/zp/95865/podrobnosti

Soubory ke stažení

    Poslední aktualizace: