Realization and testing of intelligent behaviour in chatbots

Thesis title: Realizace a testování inteligentního chování chatbotů
Author: Pešková, Barbora
Thesis type: Diplomová práce
Supervisor: Zamazal, Ondřej
Opponents: Vacura, Miroslav
Thesis language: Česky
Abstract:
Technologie chatbotů během uplynulých dekád prošla vývojem, díky němuž spatřily světlo světa rozličné druhy těchto komunikačních systémů. Existují chatboti, kteří komunikují prostřednictvím pravidel zadaných jejich lidským tvůrcem, kde bot v textu rozpozná určený záměr či entitu a vrátí předdefinovanou odpověď. Dokonalejší chatboti si ale během dialogu pomáhají prvky umělé inteligence, například dovedou detekovat emoce a tóny, rozeznat obsah zaslaného obrázku nebo generovat nový text pomocí natrénovaného modelu. Právě tito chatboti, u nichž se vyskytují projevy inteligentního chování, jsou předmětem této diplomové práce. Teoretickými cíli práce jsou provedení rešerše na téma chatbotů a platforem konstrukce chatbotů, inteligentních prvků v chatbotech a inteligentních chatbotů a také testování (rozumného, inteligentního) chování chatbotů. Následují tři praktické cíle; prvním z nich je návrh, realizace a nasazení konkrétních chatbotů s různou mírou "inteligence", druhým návrh dotazníku pro vyhodnocování testování chatbotů a provedení testování na skupinách uživatelů a v poslední řadě vyhodnocení, závěry a doporučení. Jako součást práce byly vytvořeny tři varianty chatbota zastupující tři různé skupiny chatbotů s ohledem na využití inteligentních prvků, které si za cíl kladly uživateli po krátkém dialogu doporučit hudební album. Tyto varianty byly otestovány skupinami uživatelů. Testování bylo zakončeno vyplněním dotazníku a na základě sesbíraných odpovědí proběhlo vyhodnocení chatbotů. Ukázalo se, že varianty s využitím prvků umělé inteligence dosáhly z hledisek rozumnosti vedení dialogu, rozumnosti výsledného doporučení i uživatelské přívětivosti a funkčnosti lepších výsledků.
Keywords: umělá inteligence; inteligentní chování chatbotů; chatbot; testování chatbotů
Thesis title: Realization and testing of intelligent behaviour in chatbots
Author: Pešková, Barbora
Thesis type: Diploma thesis
Supervisor: Zamazal, Ondřej
Opponents: Vacura, Miroslav
Thesis language: Česky
Abstract:
Within the past few decades, the chatbot technology has developed in a way that gave birth to various types of these communication systems. There are chatbots which communicate through rules entered by their human creator, where the bot recognises a certain intent or entity as a part of the text and returns a predefined answer. However, chatbots of a higher quality help themselves by using elements of artificial intelligence, for example they can detect emotion and tones, recognise the content of received images or generate new text with a pre-trained model. These very chatbots, which can manifest intelligent behaviour, are the topic of this thesis. The theoretical goals of this work are to research the topic of chatbots and and chatbot construction platforms, intelligent components in chatbots and testing of the (rational, intelligent) behaviour of chatbots. Three practical goals follow; first of all comes design, realisation and deployment of specific chatbots with a differing degree of "intelligence", next is creation of a questionnaire for chatbot testing evaluation and testing with several groups of users and finally evaluation, conclusions and recommendation. As a part of the thesis, three chatbot variants were created that represent three different chatbot groups regarding their usage of intelligent elements. The goal of each of them was to recommend a music album to the user after a short conversation. These variants were tested by groups of users. The testing was finished by completing the questionnaire and the collected questions were used to evaluate the chatbots. The variants which utilised elements of artificial intelligence were proven to achieve better results based on the rationality of the dialogue, rationality of the final recommendation as well as user friendliness and fuctionality.
Keywords: chatbot; intelligent behaviour in chatbots; chatbot testing; Artificial Intelligence

Information about study

Study programme: Aplikovaná informatika/Znalostní a webové technologie
Type of study programme: Magisterský studijní program
Assigned degree: Ing.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 1. 10. 2019
Date of submission: 2. 5. 2021
Date of defense: 10. 6. 2021
Identifier in the InSIS system: https://insis.vse.cz/zp/70955/podrobnosti

Files for download

    Last update: