Dynamic Turing test examining the ability of university students to distinguish real paintings from paintings created by artificial intelligence
| Thesis title: | Dynamický Turingův test zkoumající schopnost vysokoškolských studentů rozpoznat skutečné malby od maleb tvořených umělou inteligencí |
|---|---|
| Author: | Kostka, Nikita |
| Thesis type: | Bakalářská práce |
| Supervisor: | Vadinský, Ondřej |
| Opponents: | Chudán, David |
| Thesis language: | Česky |
| Abstract: | Generativní umělá inteligence je typ umělé inteligence určený k vytváření nového obsahu, jako je text, obraz nebo video. S jejím rychlým zdokonalováním se postupně stírá hranice mezi lidskou tvorbou a výstupy generovanými programem, což činí jejich rozlišování stále náročnějším. Hlavním cílem této práce je navrhnout úpravu Turingova testu založenou na principu dynamického testování, která ověřuje, jak si vysokoškolští studenti poradí s rozlišováním mezi impresionistickými obrazy vytvořenými lidmi a obrazy generovanými umělou inteligencí. Dynamický princip zároveň umožňuje sledovat, zda se respondenti v průběhu testu zlepšují v důsledku opakovaného vystavení problému. Na základě rešerše odborné literatury byl navržen tříkolový test, který byl následně experimentálně ověřen na vzorku 9 respondentů. Test umožnil identifikovat kvalitativní rozhodovací strategie, které účastníci při výběru využívali, a dále kvantitativně hodnotit jejich výkon napříč jednotlivými koly. Nejúčinnější strategií pro identifikaci generované malby bylo zaměření se na složitost obrazu. Tato strategie se respondentům v průběhu testu osvědčila a díky dynamickému principu ji začali využívat častěji. Kvantitativní výsledky naznačují tendenci k postupnému učení, avšak statisticky významně byla tato změna potvrzena pouze částečně: signifikantní zvýšení úspěšnosti bylo prokázáno mezi prvním a třetím kolem. Analýza podle teorie odpovědi na položku navíc ukázala, že test byl pro respondenty relativně snadný a měl omezenou rozlišovací schopnost. Práce představuje zdokumentovaný návrh a konstrukci dynamického testu a přináší interpretovatelné kvalitativní výsledky. Pro jednoznačnou interpretaci a zobecnění kvantitativních zjištění by však bylo nutné experiment provést na podstatně větším vzorku respondentů. |
| Keywords: | Generativní umělá inteligence; Dynamické testování; Turingův test; impresionismus; rozlišování AI a lidské tvorby |
| Thesis title: | Dynamic Turing test examining the ability of university students to distinguish real paintings from paintings created by artificial intelligence |
|---|---|
| Author: | Kostka, Nikita |
| Thesis type: | Bachelor thesis |
| Supervisor: | Vadinský, Ondřej |
| Opponents: | Chudán, David |
| Thesis language: | Česky |
| Abstract: | Generative artificial intelligence is a type of artificial intelligence designed to create new content, such as text, images, or video. As these models rapidly advance, the boundary between human artistic creation and AI-generated outputs is becoming increasingly blurred, making their distinction progressively more challenging. The primary aim of this thesis is to propose a modification of the Turing test based on the principle of dynamic testing, examining how well university students can distinguish between impressionist paintings created by humans and those generated by artificial intelligence. The dynamic principle further makes it possible to observe whether respondents improve over the course of the test as a result of repeated exposure to the task. Based on a review of relevant literature, a three-round test was designed and subsequently validated experimentally on a sample of 9 respondents. The test enabled the identification of qualitative decision-making strategies employed by participants, as well as the quantitative evaluation of their performance across rounds. The most effective strategy for distinguishing between the paintings was focusing on the complexity of the image. This approach proved successful for respondents, who began to rely on it more frequently as the test progressed. The quantitative results indicate a tendency toward gradual learning, although this improvement was statistically confirmed only partially: significant increase in accuracy was demonstrated between the first and third round. Furthermore, an item response theory analysis showed that the test was relatively easy for respondents and exhibited limited discriminative ability. This thesis presents a documented design and construction of a dynamic Turing test and provides several interpretable qualitative findings. However, to achieve clear interpretability and generalizability of the quantitative results, the experiment would need to be carried out on a substantially larger sample of respondents. |
| Keywords: | Dynamic testing; Turing test; Generative artificial intelligence; Impressionism; Distinguishing between AI and human creation |
Information about study
| Study programme: | Aplikovaná informatika |
|---|---|
| Type of study programme: | Bakalářský studijní program |
| Assigned degree: | Bc. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information and Knowledge Engineering |
Information on submission and defense
| Date of assignment: | 30. 7. 2025 |
|---|---|
| Date of submission: | 8. 12. 2025 |
| Date of defense: | 26. 1. 2026 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/93015/podrobnosti |