Engineering Production-Grade AI Agents: A Trace-Based Evaluation of Tool Governance and Context in Marketing Workflows
| Thesis title: | Engineering Production-Grade AI Agents: A Trace-Based Evaluation of Tool Governance and Context in Marketing Workflows |
|---|---|
| Author: | Kossygin, Danila |
| Thesis type: | Diploma thesis |
| Supervisor: | Umlauf, Miroslav |
| Opponents: | Potančok, Martin |
| Thesis language: | English |
| Abstract: | This thesis addresses the engineering disciplines required for reliable AI agents in production environments. Model choice alone does not produce reliability in production e-commerce environments. The primary objective is to design, implement, and empirically evaluate an engineering methodology that treats agent reliability as a systems-engineering problem within a live marketing-workflow setting. The research adopts a design-and-validation strategy within the empirical domain of multi-market e-commerce marketing workflows spanning content generation, Product Discovery, and structured data transformation tasks. Agent design is decomposed into three distinct dimensions: context provisioning, tool governance, and orchestration. The methodology is instantiated in a deployed production artifact and evaluated through a trace-based harness across five architectural configurations, holding the model version constant to isolate the effect of engineering decisions on reliability. The original contribution has three linked parts: a deployed reference architecture for multi-market marketing workflows, an engineering methodology isolating three separately measurable design dimensions, and a trace-based evaluation harness enabling controlled attribution of reliability changes across the V0→V4 progression. The author designed and implemented a layered context architecture replacing monolithic system prompts, a resilience-oriented tool governance layer based on the Model Context Protocol (MCP), and a hierarchical multi-agent orchestration framework. |
| Keywords: | production reliability; context engineering; trace-based evaluation; AI agent; agentic systems; tool governance |
| Thesis title: | Inženýrství produkčních AI agentů: Evaluace řízení nástrojů a kontextu v marketingových procesech na základě trasování |
|---|---|
| Author: | Kossygin, Danila |
| Thesis type: | Diplomová práce |
| Supervisor: | Umlauf, Miroslav |
| Opponents: | Potančok, Martin |
| Thesis language: | English |
| Abstract: | Tato diplomová práce se zaměřuje na inženýrské postupy nezbytné pro nasazení spolehlivých AI agentů v produkčním prostředí. Pouhá volba modelu k zajištění spolehlivosti v produkčním e-commerce prostředí nestačí. Hlavním cílem práce je navrhnout, implementovat a empiricky vyhodnotit inženýrskou metodiku, která k řešení spolehlivosti agentů přistupuje jako k problému systémového inženýrství v prostředí reálných marketingových procesech. Výzkum využívá strategii návrhu a validace v empirickém prostředí e-commerce marketingových procesů pro více trhů, zahrnujících generování obsahu, vyhledávání produktů a transformaci strukturovaných dat. Návrh agenta je rozdělen do tří dimenzí: správa kontextu, řízení nástrojů a orchestrace. Metodika je implementována do nasazeného produkčního artefaktu a hodnocena pomocí rámce pro evaluaci na základě trasování napříč pěti konfiguracemi při konstantní verzi modelu. Originální přínos práce zahrnuje nasazenou referenční architekturu pro marketingová workflow, inženýrskou metodiku izolující tři měřitelné dimenze návrhu a evaluační rámec umožňující přesné určení příčin změn spolehlivosti napříč progresí V0→V4. Autor implementoval vrstvenou architekturu kontextu, vrstvu řízení nástrojů postavenou na Model Context Protocol (MCP) a hierarchický orchestrační rámec pro multi-agentní systémy. |
| Keywords: | AI agent; agentní systémy; produkční spolehlivost; řízení nástrojů; inženýrství kontextu; evaluace na základě trasování |
Information about study
| Study programme: | Data a analytika pro business |
|---|---|
| Type of study programme: | Magisterský studijní program |
| Assigned degree: | Ing. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information Technologies |
Information on submission and defense
| Date of assignment: | 28. 2. 2026 |
|---|---|
| Date of submission: | 4. 5. 2026 |
| Date of defense: | 4. 6. 2026 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/95865/podrobnosti |