Engineering Production-Grade AI Agents: A Trace-Based Evaluation of Tool Governance and Context in Marketing Workflows

Thesis title: Engineering Production-Grade AI Agents: A Trace-Based Evaluation of Tool Governance and Context in Marketing Workflows
Author: Kossygin, Danila
Thesis type: Diploma thesis
Supervisor: Umlauf, Miroslav
Opponents: Potančok, Martin
Thesis language: English
Abstract:
This thesis addresses the engineering disciplines required for reliable AI agents in production environments. Model choice alone does not produce reliability in production e-commerce environments. The primary objective is to design, implement, and empirically evaluate an engineering methodology that treats agent reliability as a systems-engineering problem within a live marketing-workflow setting. The research adopts a design-and-validation strategy within the empirical domain of multi-market e-commerce marketing workflows spanning content generation, Product Discovery, and structured data transformation tasks. Agent design is decomposed into three distinct dimensions: context provisioning, tool governance, and orchestration. The methodology is instantiated in a deployed production artifact and evaluated through a trace-based harness across five architectural configurations, holding the model version constant to isolate the effect of engineering decisions on reliability. The original contribution has three linked parts: a deployed reference architecture for multi-market marketing workflows, an engineering methodology isolating three separately measurable design dimensions, and a trace-based evaluation harness enabling controlled attribution of reliability changes across the V0→V4 progression. The author designed and implemented a layered context architecture replacing monolithic system prompts, a resilience-oriented tool governance layer based on the Model Context Protocol (MCP), and a hierarchical multi-agent orchestration framework.
Keywords: production reliability; context engineering; trace-based evaluation; AI agent; agentic systems; tool governance
Thesis title: Inženýrství produkčních AI agentů: Evaluace řízení nástrojů a kontextu v marketingových procesech na základě trasování
Author: Kossygin, Danila
Thesis type: Diplomová práce
Supervisor: Umlauf, Miroslav
Opponents: Potančok, Martin
Thesis language: English
Abstract:
Tato diplomová práce se zaměřuje na inženýrské postupy nezbytné pro nasazení spolehlivých AI agentů v produkčním prostředí. Pouhá volba modelu k zajištění spolehlivosti v produkčním e-commerce prostředí nestačí. Hlavním cílem práce je navrhnout, implementovat a empiricky vyhodnotit inženýrskou metodiku, která k řešení spolehlivosti agentů přistupuje jako k problému systémového inženýrství v prostředí reálných marketingových procesech. Výzkum využívá strategii návrhu a validace v empirickém prostředí e-commerce marketingových procesů pro více trhů, zahrnujících generování obsahu, vyhledávání produktů a transformaci strukturovaných dat. Návrh agenta je rozdělen do tří dimenzí: správa kontextu, řízení nástrojů a orchestrace. Metodika je implementována do nasazeného produkčního artefaktu a hodnocena pomocí rámce pro evaluaci na základě trasování napříč pěti konfiguracemi při konstantní verzi modelu. Originální přínos práce zahrnuje nasazenou referenční architekturu pro marketingová workflow, inženýrskou metodiku izolující tři měřitelné dimenze návrhu a evaluační rámec umožňující přesné určení příčin změn spolehlivosti napříč progresí V0→V4. Autor implementoval vrstvenou architekturu kontextu, vrstvu řízení nástrojů postavenou na Model Context Protocol (MCP) a hierarchický orchestrační rámec pro multi-agentní systémy.
Keywords: AI agent; agentní systémy; produkční spolehlivost; řízení nástrojů; inženýrství kontextu; evaluace na základě trasování

Information about study

Study programme: Data a analytika pro business
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information Technologies

Information on submission and defense

Date of assignment: 28. 2. 2026
Date of submission: 4. 5. 2026
Date of defense: 4. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/95865/podrobnosti

Files for download

    Last update: