Komplexní hodnocení systémů pro získávání znalostí a generování odpovědí s využitím umělé inteligence v podnikovém prostředí

S růstem organizací roste i objem firemních dat, která produkují. V důsledku toho se schopnost získávat přesné informace z těchto nahromaděných znalostí stala klíčovou součástí fungování organizací. Zatímco vyhledávání založené na klíčových slovech bude i nadále užitečné pro získávání základních informací, práce s dotazy v přirozeném jazyce vyžaduje robustnější metody vyhledávání. Velké jazykové modely (LLM) tento problém řeší tím, že efektivně generují výstupy podobné lidským. Tyto výstupy lze považovat za platné prostředky vyhledávání; nejsou však podloženy zdrojem informací, a mohou tedy být halucinacemi. Koncept Retrieval-Augmented Generation (RAG) vznikl právě proto, aby tyto obavy ohledně vyhledávání přímo řešil. Hlavním hnacím motorem této technologie je mechanismus ukotvení generovaných odpovědí v získaném podnikovém obsahu. Tato práce hodnotí pět architektonicky odlišných podnikových RAG systémů, které byly testovány na reálných obchodních datech ve firmě Škoda Auto. Těmito systémy jsou interní Škoda Smart Search, spravované cloudové platformy Google Vertex AI Search a Microsoft Azure AI Search, self-hostovaný open-source engine RAGFlow a vlastní implementace Neo4j GraphRAG. Systémy pokrývají proprietární, cloudové, open-source a grafově rozšířené přístupy a jsou porovnávány na společné sadě českých otázek s pevně danými referenčními odpověďmi. Hodnocení probíhá ve dvou fázích, základní a sladěné, a je implementováno prostřednictvím evaluační pipeline založené na Jupyter noteboocích. Základní fáze měří každý systém v jeho výchozí konfiguraci, zatímco sladěná fáze řeší rozdíly v použitých modelech/promptech s cílem izolovat vliv jednotlivých architektur. Systémy jsou hodnoceny podle následujících metrik: kvalita odpovědi měřená pomocí ROUGE-L a skóre LLM-as-a-judge, latence odpovědi, náklady, náročnost integrace a škálovatelnost. Kvantitativní srovnání je rozšířeno o strukturovaný rozhovor s podnikovým stakeholderem odpovědným za interní implementace AI ve Škoda Auto. Zjištění ukazují, že žádný jednotlivý systém nedominuje napříč všemi dimenzemi. Škoda Smart Search dosáhl nejsilnější lexikální kvality odpovědí prostřednictvím ROUGE-L, ale také nejvyšší latence. Pipeline Neo4j GraphRAG dosáhla nejvyššího sémantického skóre LLM-as-a-judge při zachování nízké latence. Vertex AI Search i RAGFlow zlepšily svá skóre poté, co byla konfigurace sladěna. Základní nastavení podstatně podhodnotilo schopnosti systémů citlivých na konfiguraci, jako jsou Vertex AI Search a RAGFlow. Rozhovor se stakeholderem potvrdil, že výběr systému je v praxi vyvažováním závislým na projektu, což znamená, že datová suverenita, frekvence aktualizace datové sady a stávající investice do infrastruktury mohou převážit nad samotnými skóre kvality. Celkové výsledky ukazují, že validní evaluace podnikových RAG systémů vyžaduje dedikovanou přípravnou fázi a vícedimenzionální rámec, protože architektura, konfigurace a organizační omezení určují, který systém je tou správnou volbou.