Ist ein AI-Model in der Lage, ebenso gute Geschichten zu schreiben wie ein etablierter Autor? Und erkennen wir, ob eine Kurzgeschichte von einem Menschen verfasst oder AI-generiert ist? – Ein Experiment des Schweizer Schriftstellers Franz Hohler sowie zwei wissenschaftliche Untersuchungen liefern überraschende Antworten.
ChatGPT imitiert Franz Hohler
Der Ausgangspunkt der Geschichte, wie Hohler sie in der NZZ beschrieb (s. z.B. https://www.nzz.ch/feuilleton/franz-hohler-gegen-die-ki-wer-gewinnt-ld.10017684/): Der Sohn des Schweizer Schriftsteller Franz Hohler liess ChatGPT spasseshalber einen Text im Stil seines Vaters erstellen. Als Stilvorlage diente die Kurzgeschichte «Der Briefkasten». Darin erzählt Hohler von einem Briefkasten, der davon träumt, ein Rennrad zu sein.
ChatGPT erstellte eine vergleichbare Geschichte mit dem Titel «Der leere Briefkasten». In ihrem Mittelpunkt steht ein Protagonist (Herrn Bärtschi), der eines Morgens beunruhigt feststellt, dass sein Briefkasten leer geblieben ist.
Im Rahmen einer Veranstaltung an der Universität Luzern legte Hohler beide Texte einem Publikum vor, ohne ihre Herkunft zu verraten. Das Ergebnis: Rund drei Viertel der Teilnehmenden hielten die AI-generierte Geschichte für ein Werk Franz Hohlers …
AI-generierte Texte gefallen – solange ihre Herkunft nicht bekannt ist
Das Resultat von Hohlers Experiment überrascht angesichts aktueller Forschungsergebnisse keineswegs. Sears und Skolnick Weisberg (2026) liessen 2’587 Testpersonen sechs Kurzgeschichten bewerten. Drei dieser Geschichten waren von Menschenhand verfasst, drei AI-generiert. Dabei untersuchten die Forschenden sowohl die wahrgenommene Qualität als auch die Fähigkeit der Geschichten, die Testpersonen in ihren Bann zu ziehen.
Die Ergebnisse sind bemerkenswert:
Die AI-generierten Geschichten schnitten in allen Kriterien im Durchschnitt besser ab als die menschlich verfassten Entsprechungen. Die Testpersonen bewerteten also ausgerechnet jene Geschichten positiver, die nicht von Menschen verfasst waren.
Allerdings zeigte sich ein gegenläufiger Effekt, sobald die vermeintliche Urheberschaft bekannt gegeben wurde: Texte, die als menschlich geschrieben gekennzeichnet waren, erhielten höhere Bewertungen als solche, die angeblich von einer AI stammten. Die Kennzeichnung beeinflusste folglich das Urteil der Testpersonen – und zwar unabhängig davon, wer die Geschichte tatsächlich verfasst hatte. Konkret: Als AI-generiert gekennzeichnete Texte mussten einen ‘Malus’ in Kauf nehmen.
Unser Sprachgefühl ist kein zuverlässiger ‘AI-Detektor’
Abgesehen davon zeigten Sears und Skolnick Weisberg, dass durchschnittliche Leserinnen und Leser AI-generierte Texte kaum zuverlässig erkennen. Nur 39,4 Prozent der Testpersonen waren in der Lage, die Herkunft der Texte richtig zu bestimmen – ein Wert, der unter der Zufallswahrscheinlichkeit von 50 Prozent liegt. Testpersonen, die sich als literarisch kompetent bezeichneten, agierten übrigens nicht treffsicherer …
Was macht eine Geschichte kreativ?
Um zu Franz Hohler zurückzukehren: In seinem Beitrag in der NZZ zeigte sich Hohler konsterniert, zog jedoch eine klare Grenze zwischen menschlichen Autoren und dem AI-Modell (dem «Weltgehirn»): So müssten Menschen «das tun, was das Weltgehirn niemals kann: lieben, seufzen, weinen, lachen».
Doch sind AI-Modelle tatsächlich nicht in der Lage, derartige Emotionen in Texten wachzurufen und die Lesenden im Sinne Hohlers zum «seufzen, weinen, lachen» zu bringen? – Eine Untersuchung von Orwig und Mitarbeitenden (2024) liefert zumindest ansatzweise eine Antwort. Die Forschenden verglichen 300 menschlich verfasste Geschichten mit 300 Texten von GPT-3 und ergänzten ihre Untersuchung durch 120 Geschichten von GPT-4. Ihr Ziel war es einerseits, die Kreativität der Texte zu bewerten; andererseits jene sprachlichen Merkmale zu identifizieren, die eine Geschichte besonders kreativ erscheinen lassen. Dabei erwiesen sich zwei Eigenschaften als besonders bedeutsam: die semantische Vielfalt und die Verwendung sinnlicher Wahrnehmungsdetails. Im Einzelnen:
Semantische Vielfalt entsteht, wenn ein Text ungewöhnliche Begriffe und Vorstellungen auf sinnvolle Weise miteinander verbindet.
Wahrnehmungsdetails lassen die erzählte Welt lebendig werden, indem sie beispielsweise Geräusche, Farben, Berührungen oder Gerüche beschreiben.
Beide Merkmale beeinflussten die wahrgenommene Kreativität positiv. Hierbei zeigte sich, dass AI-Modelle bei kurzen Geschichten ein mit menschlichen Autorinnen und Autoren vergleichbares Kreativitätsniveau erreichen können. Allerdings förderte die Untersuchung eine Schwäche an den Tag: Wurde GPT-4 selbst zur Bewertung der Geschichten eingesetzt, beurteilte das Modell seine eigenen Texte deutlich positiver als die von Menschen verfassten Geschichten.
Fazit
AI-Systeme erzeugen Geschichten, die uns gefallen, emotional ansprechen und von menschlich verfassten Texten kaum zu unterscheiden sind. Ihre sprachliche Kreativität lässt sich zudem anhand bestimmter Merkmale empirisch beschreiben.
Für die professionelle Textarbeit ergibt sich daraus eine wichtige Erkenntnis: Die Qualität eines Textes lässt sich nicht zuverlässig aus seiner Herkunft ableiten. Stattdessen müssen wir seine weitergehende Eigenschaften beurteilen – etwa Originalität, Kohärenz, Anschaulichkeit und Kommunikationswirkung.
Die entscheidende Frage lautet künftig deshalb nicht, ob ein Text von einem Menschen oder einer AI stammt. Sie lautet vielmehr, was den Text tatsächlich lesenswert macht.
Zitierte Studien:
Sears, S. and Weisberg, D.S. (2026) ‘Bot or not: Can people tell the difference between stories written by a human or by an AI system?’, Judgment and Decision Making, 21, p. e21. doi:10.1017/jdm.2026.10042.
Orwig W, Edenbaum ER, Greene JD, Schacter DL. (2024) ‘The Language of Creativity: Evidence from Humans and Large Language Models’, Journal of Creative Behavior 58(1):128-136. doi:10.1002/jocb.636. Epub 2024 Jan 11. PMID: 38698795; PMCID: PMC11065427.
Zu den Folien
Die Folien lassen sich hier downloaden.
