Ma reggel olyan hírrel indult a nap, amitől minden könyvkiadóban kicsit hangosabban kezd ketyegni az óra: a Guardian egy friss tanulmányt szemlézett, amely szerint az olvasók az AI által írt novellákat jobbra értékelték, mint az emberi írásokat – és amikor tippelniük kellett, ki a szerző, rosszabbul teljesítettek, mint egy pénzfeldobás.
Sorozatunk címe – Gép írta vagy ember? – ezúttal szó szerint kutatási kérdéssé vált. A válasz pedig kényelmetlen: nem tudjuk megmondani.
Mielőtt azonban bárki kihúzná a laptopja töltőjét és beállna kertésznek, érdemes végigolvasni, mit mérnek valójában ezek a tesztek. Mert a számok mögött egy sokkal érdekesebb – és az emberi alkotókra nézve sokkal biztatóbb – történet rajzolódik ki.
Mit mért a friss kutatás?
A Villanova Egyetem kutatói, Sydney Sears és Deena Skolnick Weisberg a Judgment and Decision Making folyóiratban publikálták a beszédes című tanulmányt: Bot or not? Az első kísérletben 1682 felnőtt között osztottak szét hat novellát: hármat emberi szerzők írtak – irodalmi folyóiratokban megjelent, nagyjából 1000 szavas szövegek –, hármat pedig a ChatGPT generált azonos témákra; minden résztvevő egyet olvasott közülük.
Az eredmény kettős. Egyrészt az AI-történetek magasabb pontszámot kaptak mind a „beszippantás" (mennyire vonta be az olvasót a történet), mind az észlelt minőség skáláján. Másrészt – és ez legalább ilyen fontos – a címke önmagában is számított: amelyik szövegről az olvasók azt hitték, hogy ember írta, azt automatikusan jobbra értékelték, függetlenül a valódi szerzőtől.
A második kísérletben 424 résztvevő párban kapta meg a novellákat, és el kellett döntenie, melyiket írta ember. A találati arány 39,4% lett – ami nemcsak gyenge, hanem szignifikánsan rosszabb a véletlennél. Vagyis a résztvevők nem egyszerűen tanácstalanok voltak: rendszeresen éppen az AI szövegét hitték emberinek. A magabiztosság semmit nem javított a találati arányon; az irodalmi jártasság sem. Egyedül az segített valamennyit, ha valaki magukat az AI-eszközöket ismerte jól. A kutatók egy további ellenőrző kísérletben is legfeljebb a véletlen szintjét súroló találati arányt mértek.
Weisberg professzor összegzése szerint az AI-rendszerek „már most képesek olyan novellákat írni, amelyeket az olvasók legalább olyan jónak – ha nem jobbnak – látnak, mint az emberi írásokat”. A Guardian által megszólaltatott költő, Luke Kennard (Birminghami Egyetem) ugyanakkor emlékeztetett arra, amiről sorozatunkban mi is részletesen írtunk: ez a technológia „egy hatalmas, ellopott adatbázisra épülő prediktív kód” – a betanításhoz használt könyvek jelentős része kalózforrásokból származik.
Nem ez az első ilyen eredmény – sőt
Aki követi a területet, annak ez az eredmény nem meglepetés, hanem egy egyre hosszabb sorozat újabb tagja.
Már 2021-ben, a ChatGPT megjelenése előtt kimutatta Nils Köbis és Luca Mossink kutatópárosa, hogy a laikus olvasók nem tudják megkülönböztetni a GPT-2 verseit az emberi költeményektől – igaz, akkor még csak úgy, ha egy ember előválogatta a gép legjobb próbálkozásait. Ugyanebben az évben Elizabeth Clark és munkatársai azt találták, hogy a GPT-3 által írt történeteket, híreket és recepteket az olvasók véletlen szinten ismerték fel – és még célzott felkészítés után is csak 55%-ig jutottak.
2023-ban a rangos PNAS folyóiratban Maurice Jakesch és kollégái 4600 fős kísérletsorozatban mutatták ki, hogy az emberek hibás ökölszabályokra támaszkodnak: ha egy szöveg családot emleget, ha közvetlen hangú, ha első személyben szól, azt embernek hisszük – csupa olyan jegy, amelyet a gép gond nélkül utánoz. Így születik a jelenség, amelyet a kutatók csak úgy hívnak: „emberibb az embernél”.
A legnagyobb visszhangot pedig eddig a 2024-es verskísérlet váltotta ki: Brian Porter és Edouard Machery tesztjében a résztvevők Shakespeare, Emily Dickinson, Walt Whitman és Sylvia Plath verseit hasonlították össze a stílusukban generált ChatGPT-versekkel. A találati arány 46,6% volt – megint csak rosszabb a véletlennél –, és az AI-verseket 14 minőségi dimenzióból 13-ban jobbra értékelték. A kutatók magyarázata azonban árulkodó: az AI-versek egyszerűbbek, könnyebben emészthetők, és a laikus olvasó a gördülékenységet éli meg minőségnek. Nem a zsenialitást díjazta tehát a közönség, hanem a közérthetőséget.
És most jön a fordulat: kérdezzük meg a profikat
Mert van ám ennek az éremnek egy másik oldala, amiről a szalagcímek ritkábban szólnak.
Amikor Tuhin Chakrabarty és kutatótársai nem alkalmi olvasókkal, hanem hivatásos írókkal értékeltették a szövegeket egy kreativitásmérő teszt (a Torrance-teszt írói változata) mentén, az eredmény megsemmisítő volt az AI-ra nézve: a nyelvi modellek novellái három–tízszer kevesebb kreativitáspróbán mentek át, mint a profi írók művei. A 2024-es „Pron vs Prompt" kísérletben pedig a díjnyertes argentin író, Patricio Pron állt ki a GPT-4 ellen egy szabályos írói párbajban: irodalomkritikusok és irodalmárok 5400 értékelése alapján az ember magabiztosan nyert, a kutatók következtetése szerint pedig a modellek puszta növelése önmagában nem fogja ezt a szakadékot áthidalni.
Ugyanezt a mintázatot találta a Journal of Communication 2024-es tanulmánya is: az AI-történetek logikusak és koherensek, de abban, amit a kutatók „narratív transzportációnak” hívnak – vagyis hogy a történet magával ragadjon, elrepítsen –, az emberi írások bizonyultak erősebbnek.
A laikus közönség tehát nem tud különbséget tenni, a szakértő viszont igen. Hogy lehet ez?
Az AI a jók súlyozott átlagát adja – és pont ez a korlátja
Itt érdemes egy pillanatra benézni a motorháztető alá. A nyelvi modellek betanítása gigantikus szövegtengeren történik, és a modell azt tanulja meg, milyen megoldások fordulnak elő a legtöbbször, a legsikeresebb mintázatokban. Amikor novellát írattunk vele, nem egy szerző szólal meg, hanem sok ezer bevált szerkezet, fordulat és stílusjegy súlyozott átlaga. Ennek két következménye van, és mindkettőt mérték már.
Az első: az AI stabilan hozza a jó átlagot. Mika Koivisto és Simone Grassini kreativitáskísérletében a csetbotok átlagosan felülmúlták a 256 emberi résztvevőt – de nem azért, mert zseniálisabbak voltak, hanem mert sosem nyújtottak gyenge teljesítményt. Az emberi mezőny szórása óriási: vannak fáradt, ihlet nélküli, gyenge válaszok, és vannak briliánsak. A tanulmány kulcsmondata azonban így szól: „a legjobb emberek továbbra is felülmúlják a mesterséges intelligenciát”. A csúcson az ember áll, a gép csak az átlagot tolta feljebb.
A második következmény: az átlagolás uniformizál. Anil Doshi és Oliver Hauser a Science Advancesben közölt kísérletében az AI-ötletek valóban feljavították a kevésbé kreatív írók történeteit, miközben a művek kimutathatóan hasonlóbbá váltak egymáshoz. Az egyén nyer egy kicsit, az irodalom egésze veszít: a szövegek a szürke középérték felé húznak.
És innen már látszik a lényeg. Az AI mindent tud, ami volt: minden bevált szerkezetet, minden sikeres stílust vissza tud adni, méghozzá az átlagembernél megbízhatóbban. Amit viszont elvi működéséből fakadóan nem tud, az a semmiből alkotás. A statisztikai átlagból soha nem jön ki a kiugró érték – az átlag definíció szerint pont azt csiszolja le.
Tolkien nem a korábbi regények súlyozott átlagából rakta össze Középföldét: előbb nyelveket teremtett, aztán világot a nyelvek köré, és beleírta a lövészárkok iszonyatát, amit a saját bőrén tapasztalt meg. Mozart nem a kor zenei mintázatait extrapolálta, új mintázatokat teremtett, amelyeken aztán generációk tanultak. Az AI Tolkien után kiválóan ír tolkieni stílusban. De Tolkien előtt soha nem írta volna meg A Gyűrűk Urát, mert nem volt miből átlagolnia. A gép stílust másol; stílust teremteni eddig csak ember tudott.
Mit jelent ez ránk, olvasókra és könyvkészítőkre nézve?
Őszinték leszünk: az átlagos szöveg mostantól tömegcikk. Amit egy gyakorlott tollú ember eddig iparosmunkában megírt – gördülékeny, hibátlan, olvasmányos középszer –, azt a gép ma már olcsóbban és gyorsabban állítja elő, és a kutatások szerint az olvasók többsége észre sem veszi a cserét.
Éppen ezért értékelődik fel minden, ami az átlag fölött van, és minden, ami hitelesen emberi. Mert van még egy tanulsága a Villanova-kutatásnak, talán a legfontosabb: amikor az olvasók azt hitték egy szövegről, hogy ember írta, jobbra értékelték. Az olvasónak számít, hogy ki szól hozzá. Nem mindegy neki, hogy megélt élet vagy statisztika beszél a sorok mögül, csak éppen jelenleg semmilyen eszköze nincs arra, hogy ezt megtudja.
Pontosan ezért indítottuk el az „Emberi alkotás” petíciót: azért, hogy a könyveken kötelező, jól látható jelölés mutassa, ha AI közreműködésével készültek, és hogy a 100%-ban emberi alkotások saját, védett jelölést kaphassanak. A kutatások bebizonyították, hogy a saját szemünknek nem hihetünk. Akkor legalább a borítónak hihessünk.
Ha egyetértesz, írd alá a petíciót itt: peticio.hmkonyvek.hu – egy perc az egész, és 25 000 aláírásnál a jogalkotó asztalára tesszük.
A „Gép írta vagy ember?” sorozat korábbi részei: az EU AI-jelölési szabályairól itt olvashatsz, a gyanúsan gyors lektori vélemények jelenségéről pedig a helyesenmagyarul.hu oldalon írtunk. https://helyesenmagyarul.hu/huszoldalas-velemeny-a-keziratodra-egy-nap-alatt-alljunk-meg-egy-szora/
Ennél a cikknél a mesterséges intelligenciát a forráskutatáshoz és a képi anyagok elkészítéséhez használtuk. A szöveget emberek írták és lektorálták.
Források
• Sears, S. & Weisberg, D. S. (2026): Bot or not? Can people tell the difference between stories written by a human or by an AI system? Judgment and Decision Making, 21, e21. cambridge.org
• The Guardian (2026. augusztus 5.): AI-generated stories rated better quality than human-written ones, study finds. theguardian.com
• Köbis, N. & Mossink, L. D. (2021): Artificial intelligence versus Maya Angelou. Computers in Human Behavior, 114. sciencedirect.com
• Clark, E. et al. (2021): All That's 'Human' Is Not Gold. ACL 2021. aclanthology.org
• Jakesch, M., Hancock, J. T. & Naaman, M. (2023): Human heuristics for AI-generated language are flawed. PNAS, 120(11). pnas.org
• Porter, B. & Machery, E. (2024): AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports, 14. nature.com
• Koivisto, M. & Grassini, S. (2023): Best humans still outperform artificial intelligence in a creative divergent thinking task. Scientific Reports, 13. nature.com
• Chakrabarty, T. et al. (2024): Art or Artifice? Large Language Models and the False Promise of Creativity. CHI 2024. arxiv.org
• Marco, G., Gonzalo, J. et al. (2024): Pron vs Prompt: Can Large Language Models already Challenge a World-Class Fiction Author at Creative Text Writing? EMNLP 2024. arxiv.org
• Doshi, A. R. & Hauser, O. P. (2024): Generative AI enhances individual creativity but reduces the collective diversity of novel content. Science Advances, 10(28). science.org
• Chu, H. & Liu, S. (2024): Can AI tell good stories? Narrative transportation and persuasion with ChatGPT. Journal of Communication. neurosciencenews.com összefoglaló