Evaluation of chat bots

Thesis title: Hodnocení chatovacích botů
Author: Hazdra, Jan
Thesis type: Bakalářská práce
Supervisor: Sigmund, Tomáš
Opponents: Čermák, Radim
Thesis language: Česky
Abstract:
Tato bakalářská práce se zabývá hodnocením schopností strojů napodobovat lidské chování. Předkládá stručnou historii oboru umělé inteligence a inteligentních strojů, konkrétně chatovacích botů a popisuje jejich vývoj napříč 20. stoletím. Popisuje nejdůležitější vlastnosti a stavební kameny chatovacích botů včetně nejpoužívanějších programovacích jazyků pro jejich tvorbu. Dále popisuje teorie A. Turinga, jeho test i imitační hru, z kterého následně vychází metodika pro hodnocení chatovacích botů. Dále zkoumá kritiku Turingova testu od J. R. Searla na argumentu čínského pokoje, která slouží k jeho lepšímu pochopení a nalezení jeho hranic. Práce také popisuje předpoklady H. Dreyfuse, které vedly k optimismu v druhé polovině 90. let ve vývoji v oboru umělé inteligence, a meze umělé inteligence, na které poukazoval. Hlavním cílem práce je metodika navržena v druhé části, která slouží k srovnání několika vybraných chatovacích botů a následně použita k jejich hodnocení. Celkové hodnocení se skládá z hodnocení v dílčích kategoriích, v kterých budou jednotliví chatovací boti obodováni. Metodika vychází z Turingova testu, který lehce obměňuje, ale také rozšiřuje díky myšlenkám dalších autorů.
Keywords: umělá inteligence; stroj; imitační hra; chatovací bot
Thesis title: Evaluation of chat bots
Author: Hazdra, Jan
Thesis type: Bachelor thesis
Supervisor: Sigmund, Tomáš
Opponents: Čermák, Radim
Thesis language: Česky
Abstract:
This thesis deals with the evaluation of theability of machines to imitate human behavior. Presents a brief history of the development on the field of artificial intelligence and intelligent machines, specifically chat botsand describes their evolution throughout the 20th century. It describes the most important features and building blocks of chat bots, including the most widely used programming languages for creating them.It also describes the theory of A. Turing, the test and the imitation game, on which is based methodology for evaluating chat bots. Then it also examines the criticism of the Turing's test by J. R. Searle's chinese room argument that is used for its better understanding and finding its boundaries. The work also describes H. Dreyfus's assumptions, which led to optimism in the late 90s in development in artificial intelligence and limits of artificial intelligence, on which he pointed out. The main objective is the metodology proposed in the second part, which is used for comparing selected chat bots and then used for their evaluation. Overall evaluation consists of evaluations in the sub-categories in which will be individual chat bots scored. The methodology is based on the Turing test, which slightly modifies, but also extends thanks to the ideas of other authors.
Keywords: imitation game; machine; artificial intelligence; chat bot

Information about study

Study programme: Aplikovaná informatika/Informatika
Type of study programme: Bakalářský studijní program
Assigned degree: Bc.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Systems Analysis

Information on submission and defense

Date of assignment: 10. 10. 2016
Date of submission: 10. 12. 2016
Date of defense: 8. 2. 2017
Identifier in the InSIS system: https://insis.vse.cz/zp/59152/podrobnosti

Files for download

    Last update: