Porovnání výkonnosti velkých jazykových modelů na textové klasifikaci klientských reklamací
Autor(ka) práce:
Frič, Roman
Typ práce:
Diplomová práce
Vedoucí práce:
Zimmermann, Pavel
Oponenti práce:
Vencovský, Filip
Jazyk práce:
Česky
Abstrakt:
Diplomová práce se zaměřuje na porovnání výkonnosti vybraných velkých jazykových modelů (LLM) s otevřeným zdrojovým kódem v úloze klasifikace klientských reklamací ČSOB. Primárním cílem je zhodnotit, jaké modely poskytují nejlepší výkonnost ke zpracování reálných dat a posoudit, zda mohou překonat stávající řešení založené na dopředných neuronových sítích, které je nyní v bance implementováno. Dále práce zkoumá, zda přechod na LLM poskytuje dostatečný přínos a umožňuje nahradit současný stav, jenž je méně náročný na výpočetní kapacity. Výsledky poskytují cenné poznatky o možnostech uplatnění LLM s otevřeným zdrojovým kódem a jejich potenciálu ke zvýšení efektivity automatizace pro zpracování reklamací v bankovním sektoru. Teoretické poznatky jsou aplikovány ve výzkumné části práce. Zabývá se problematikou jemného doladění modelů pomocí LoRA techniky, umožňující snížit nároky na tréninkovou kapacitu při zachování vysoké přesnosti klasifikace. Výsledky jednotlivých modelů určují jejich schopnost zlepšit současnou klasifikaci reklamací na základě přesnosti a rychlosti zpracování. Veškerá data jsou zpracována v českém i anglickém jazyce s cílem posoudit, zda překlad reklamací do anglického jazyka povede ke zlepšení přesnosti klasifikace. Pro jemné ladění LLM je využit programovací jazyk Python a knihovny z platformy Hugging Face. Poskytují široké možnosti práce s modely s otevřeným zdrojovým kódem.
Performance Comparison of Large Language Models on Customer Complaint Text Classification
Autor(ka) práce:
Frič, Roman
Typ práce:
Diploma thesis
Vedoucí práce:
Zimmermann, Pavel
Oponenti práce:
Vencovský, Filip
Jazyk práce:
Česky
Abstrakt:
This thesis focuses on comparing the performance of selected open–source Large Language Models (LLMs) in the task of classifying ČSOB customer complaints. The main objective is to evaluate which models perform best when processing real data and to assess whether they can outperform existing feed–forward neural network–based solutions currently implemented in the bank. The work will also investigate whether there is sufficient benefit in moving to LLM to replace the existing solution, which is less demanding in terms of computational capacity. The results provide valuable insights into the possibilities of implementing open–source LLMs and its potential for increasing efficiency and automation in the processing of complaints in the banking sector. The theoretical knowledge is applied in the practical part of the thesis, which deals with the issue of fine tuning models using the LoRA technique, which makes it possible to reduce the demands on training capacity while maintaining high classification accuracy. The results of individual models determine their ability to improve the current classification of complaints based on their accuracy and processing speed. In this work, the data is processed in both Czech and English, with the aim of assessing whether the translation of complaints into English leads to an improvement in classification accuracy. For the fine tuning of LLMs, the Python programming language and libraries from the Hugging Face platform are used, which provide wide possibilities for working with open–source models.
Klíčová slova:
Fine tuning; LLM; Transformer; Deep Learning; LoRA; NLP