Porovnání velkých jazykových modelů: Analýza funkcionality a omezení
Autor(ka) práce:
Hrabáčová, Kateřina
Typ práce:
Bakalářská práce
Vedoucí práce:
Chudán, David
Oponenti práce:
Sklenák, Vilém
Jazyk práce:
Česky
Abstrakt:
V posledních letech se oblast umělé inteligence a strojového učení vyvíjí nebývalou rychlostí, přičemž klíčovým prvkem tohoto vývoje jsou velké jazykové modely (LLM). Tyto modely se staly zásadními nástroji v mnoha aplikacích od zpracování přirozeného jazyka po generování obsahu a řešení komplexních problémů. Předložená bakalářská práce se zaměřuje na srovnání výkonnosti vybraných LLM s důrazem na český jazyk, aby prozkoumala jejich schopnost porozumět a generovat obsah v tomto specifickém lingvistickém kontextu. Práce hodnotí a srovnává schopnosti modelů jako GPT-3.5, Claude 3 Sonnet a další v oblastech, které zahrnují porozumění textu, gramatiku, matematiku a biologii. Kvantitativní data byla získána prostřednictvím standardizovaných testů, včetně maturitních didaktických testů a SCIO testů. Dále byla doplněna kvalitativní analýzou odpovědí modelů. Speciální pozornost je věnována identifikaci konkrétních chyb a limitací těchto modelů v kontextu českého jazyka, což odhaluje klíčové oblasti pro další vývoj a zlepšení. Výsledky naznačují, že i přes vysokou úroveň znalostí v některých doménách, jako je biologie, LLM čelí významným výzvám v oblastech vyžadujících hlubší lingvistické porozumění a komplexní logické úvahy, zejména v matematice a pokročilé gramatice češtiny. Tato práce přispívá k lepšímu porozumění možnostem a omezením LLM v českém jazykovém prostředí a nabízí cenné vhledy pro výzkumné komunity a vývojáře umělé inteligence. Diskuze o výsledcích a doporučení pro budoucí výzkum zdůrazňují potřebu rozšířených datových sad a vylepšení algoritmů pro zvýšení univerzálnosti a přesnosti LLM.
Klíčová slova:
zpracování přirozeného jazyka; srovnání výkonnosti LLM; český jazyk; velké jazykové modely; umělá inteligence
Název práce:
Comparing Large Language Models: Analysis of Functionality and Limitations
Autor(ka) práce:
Hrabáčová, Kateřina
Typ práce:
Bachelor thesis
Vedoucí práce:
Chudán, David
Oponenti práce:
Sklenák, Vilém
Jazyk práce:
Česky
Abstrakt:
In recent years, the field of artificial intelligence and machine learning has evolved at an unprecedented rate, with large language models (LLM) being a key element of this development. These models have become fundamental tools in many applications from natural language processing to content generation and solving complex problems. This bachelor's thesis focuses on comparing the performance of selected LLM with an emphasis on the Czech language to explore their ability to understand and generate content in this specific linguistic context. The work evaluates and compares the capabilities of models such as GPT-3.5, Claude 3 Sonnet, and others in areas that include text comprehension, grammar, mathematics, and biology. Quantitative data were obtained through standardized tests, including high school didactic tests and SCIO tests, and supplemented with qualitative analysis of the models' responses. Special attention is given to identifying specific errors and limitations of these models in the context of the Czech language, revealing key areas for further development and improvement. The results suggest that despite an elevated level of knowledge in domains, such as biology, LLM face significant challenges in areas requiring deeper linguistic understanding and complex logical reasoning, especially in mathematics and advanced Czech grammar. This work contributes to a better understanding of the possibilities and limitations of LLM in the Czech linguistic environment and offers valuable insights for research communities and developers of artificial intelligence. Discussions of the results and recommendations for future research emphasize the need for expanded data sets and algorithm improvements to enhance the universality and accuracy of LLM.
Klíčová slova:
natural language processing; artificial intelligence; comparison of LLM performance; Czech language; large language models