Comparative evaluation of AI chatbots in education: Truthfullness and completeness of generated information

This thesis deals with a comparative analysis of four advanced chatbot models, ChatGPT (GPT-3.5), Copilot (GPT-4), Gemini and LLaMA2, with an emphasis on the evaluation of their response structure, truthfulness and comprehensiveness of the information provided. The thesis also provides an introduction to artificial intelligence and chatbots. The aim was to analyse and compare these models in terms of their information truthfulness and completeness, and to identify their strengths and weaknesses for applications in education. The methods used included comparative evaluation and observation, thus ensuring objectivity and thoroughness of the analysis. The results revealed that each model has unique strengths suitable for different educational scenarios: the ChatGPT is preferred for basic pedagogical purposes, Copilot has proven itself in complex academic situations due to its accuracy, while Gemini provides extended coverage of topics, making it suitable for broader academic use. LLaMA2 was not tested due to technical unavailability. These findings suggest the need for further research and development into the ethical and safety aspects of AI to maximise its potential in the educational process.

Tato práce se zabývá komparativní analýzou čtyř pokročilých modelů chatbotů, ChatGPT (GPT-3.5), Copilot (GPT-4), Gemini a LLaMA2, s důrazem na hodnocení struktury jejich odpovědí, pravdivosti a komplexnosti poskytovaných informací. Práce rovněž poskytuje úvod do problematiky umělé inteligence a chatbotů. Cílem bylo analyzovat a porovnat tyto modely z hlediska pravdivosti a úplnosti informací a určit jejich silné a slabé stránky pro aplikace ve vzdělávání. Použité metody zahrnovaly srovnávací hodnocení a pozorování, čímž byla zajištěna objektivita a důkladnost analýzy. Výsledky ukázaly, že každý model má jedinečné silné stránky vhodné pro různé vzdělávací scénáře: ChatGPT je preferován pro základní pedagogické účely, Copilot se díky své přesnosti osvědčil v komplexních akademických situacích, zatímco Gemini poskytuje rozšířené pokrytí témat, takže je vhodný pro širší akademické využití. LLaMA2 nebyl testován z důvodu technické nedostupnosti. Tato zjištění naznačují potřebu dalšího výzkumu a vývoje etických a bezpečnostních aspektů umělé inteligence, aby se maximalizoval její potenciál ve vzdělávacím procesu.