Mensch oder Maschine

Wie können Lehrkräfte KI-Texte erkennen?

ChatGPT erstellt so realistische Texte, dass sich kaum unterscheiden lässt, ob diese von einem Menschen oder einer künstlichen Intelligenz geschrieben wurden. Für Lehrkräfte wird es schwieriger, die Urheberschaft etwa von Hausaufgaben zu erkennen.

Foto: pixabay.com (mit Hilfe einer Bild-KI)

15.06.2023 - Nadine Emmerich, freie Journalistin

Früher oder später musste diese Nachricht kommen: Hamburger Schüler sollen sich bei den schriftlichen Abiturprüfungen von künstlicher Intelligenz (KI) haben helfen lassen. Wie genau das abgelaufen sein könnte, ist unklar. Lehrkräften seien beim Korrigieren der Arbeiten Unregelmäßigkeiten aufgefallen, weil Teile der Klausuren mangelhaft, andere wiederum fehlerfrei gewesen seien, hieß es in einem Bericht der Deutschen Presse-Agentur. Prüfprogramme hätten den Einsatz von ChatGPT für möglich gehalten.

Hälfte der Schülerinnen und Schüler nutzte ChatGPT

Rund sechs Monate nach Veröffentlichung ist der Chatbot der US-Firma OpenAI längst in Deutschlands Schulen eingezogen: Mehr als die Hälfte der Schülerinnen und Schüler (53 Prozent) nutzte das KI-Tool bereits, wie eine repräsentative Umfrage unter 504 Schülerinnen und Schülern zwischen 14 und 19 Jahren im Auftrag des Digitalverbands Bitkom ergab. Am häufigsten wurde die neue Technologie von Gymnasiastinnen und Gymnasiasten genutzt (57 Prozent). Unter den Schülerinnen und Schülern, die ChatGPT bereits nutzten, tun dies die meisten für ihre Hausaufgaben (62 Prozent).

KI soll KI erkennen

Ob ein Text von einem Menschen oder einem großen Sprachmodell geschrieben wurde, lässt sich derweil selbst für Fachleute kaum erkennen. Zwar gibt es mittlerweile nicht nur Programme zum Schreiben von Texten, sondern auch etliche, die KI-Texte erkennen sollen. Dazu gehören unter anderem das von einem US-Informatikstudenten entwickelte GPT Zero, Open AIs eigener AI Text Classifier oder Plattformen wie Copyleaks.com und Scribbr.de.

KI-Klassifizierer mäßig zuverlässig

Wissenschaftlerinnen und Wissenschaftler sowie Medienschaffende testeten diese Tools bereits – und bilanzierten: Die Resultate seien mäßig zuverlässig. OpenAI räumte mit Blick auf seinen KI-Klassifizierer, der wie ChatGPT aus Beispielen lernt, ein: Aus einer eigens dafür zusammengestellten Sammlung englischsprachiger Texte habe die Software 26 Prozent der von Textgeneratoren erzeugten Texte korrekt als solche erkannt, fälschlicherweise aber auch neun Prozent der von Menschen geschriebenen Texte einer KI zugeordnet. In einer Studie von Wissenschaftlern der US-Universitäten Stanford und Cornell ordneten Versuchspersonen Beispieltexte nur mit 50-prozentiger Wahrscheinlichkeit Mensch oder Maschine richtig zu.

Wenn also erste Studien zum dem Schluss kommen, es sei nicht einfach möglich, zu erkennen, ob etwas von Mensch oder Maschine geschrieben wurde, wie sollen dann Lehrerinnen und Lehrer KI-generierte Texte klar als solche identifizieren? Um es vorwegzunehmen: Auch dieser Artikel kann darauf keine klare Antwort geben. Erklärt werden soll indes, was aktuell in Sachen KI-Erkennung auf dem Markt passiert und welche Konzepte in der Forschung diskutiert werden.

„Achten Sie auf grammatikalische Fehler, unpassende Satzstrukturen oder inkohärente Absätze. KI-Texte neigen dazu, gelegentlich ungewöhnliche oder fehlerhafte Formulierungen zu enthalten.“ (ChatGPT)

Fragt man ChatGPT selbst, heißt es übrigens unter anderem: „Achten Sie auf grammatikalische Fehler, unpassende Satzstrukturen oder inkohärente Absätze. KI-Texte neigen dazu, gelegentlich ungewöhnliche oder fehlerhafte Formulierungen zu enthalten.“ KI-Forschende halten hier jedoch dagegen, gerade (Tipp)Fehler seien Kennzeichen einer menschlichen Urheberschaft.

„Die Erkennung, ob ein Text von einer Künstlichen Intelligenz (KI) verfasst wurde, kann eine Herausforderung darstellen, da KI-Modelle wie GPT-3, auf denen ich basiere, darauf ausgelegt sind, menschliches Schreiben nachzuahmen. Dennoch gibt es einige Anhaltspunkte, die Ihnen helfen könnten, einen Text zu identifizieren, der von einer KI geschrieben wurde. Hier sind einige Tipps:

Überprüfen Sie die Qualität des Textes: KI-generierte Texte können manchmal holprig oder unbeholfen wirken. Achten Sie auf grammatikalische Fehler, unpassende Satzstrukturen oder inkohärente Absätze. KI-Texte neigen dazu, gelegentlich ungewöhnliche oder fehlerhafte Formulierungen zu enthalten.
Prüfen Sie die Konsistenz: Wenn ein Text zu perfekt oder zu gleichmäßig wirkt, könnte dies ein Hinweis darauf sein, dass er von einer KI generiert wurde. KI-Modelle neigen dazu, in Bezug auf den Schreibstil und die Qualität ihrer Ausgabe sehr konsistent zu sein.
Testen Sie das Wissen oder die Recherchebasis: KI-Modelle haben ein bestimmtes Wissensniveau, das auf den Trainingsdaten basiert. Wenn der Text über hochspezialisierte oder topaktuelle Informationen verfügt, die nicht allgemein verfügbar sind oder von einem Lehrer erwartet werden, besteht die Möglichkeit, dass er von einer KI generiert wurde. KI-Modelle haben möglicherweise Schwierigkeiten, aktuelle Ereignisse oder spezifische lokale Informationen korrekt wiederzugeben.
Interaktion: KI-Modelle können Schwierigkeiten haben, auf spezifische Fragen oder Nachfragen angemessen zu reagieren. Wenn der Text nicht auf Rückfragen eingeht oder eher vage oder allgemeine Antworten gibt, könnte dies auf eine KI-generierte Antwort hinweisen.
Es ist wichtig zu beachten, dass die KI-Technologie ständig weiterentwickelt wird, und es immer schwieriger wird, KI-generierte Texte von menschlich verfassten Texten zu unterscheiden. Es gibt jedoch auch Ansätze wie die Verwendung von speziellen KI-Erkennungstools oder die Überprüfung von Metadaten, um festzustellen, ob ein Text von einer KI stammt.“

Grundsätzlich lässt sich nach Einschätzung von Fachleuten festhalten:

KI-Texte lassen sich möglicherweise daran erkennen, dass sie wenig originell und abwechslungsreich sind sowie viele Wiederholungen enthalten; Menschen variieren beim Schreiben stärker.
Eine Art SEO-Stil mit vielen aneinander gereihten Keywords könnte ebenfalls auf eine KI als Urheber hindeuten.
Fehler machen KI-Tools Beobachtungen zufolge häufig etwa bei Abkürzungen und Fachbegriffen, aber auch bei Artikeln und Konjunktionen.

Ausführliche Empfehlungen, an denen sich auch Lehrerinnen und Lehrer orientieren könnten, stellte zum Beispiel Chip.de zusammen.

Drei Forschungsansätze

Unterdessen lassen sich bei der Erkennung KI-erzeugter Texte mittels Technologien drei Forschungsansätze unterscheiden, wie Autor Andreas Meier, der sich seit rund 20 Jahren mit KI befasst, in einem Beitrag für Golem.de vorstellte (Paywall): die Verwendung maschinellen Lernens, die Integration digitaler Wasserzeichen im Text sowie die Nutzung statistischer Kennwerte von KI-generiertem Text.

Alle Ansätze haben dem Experten zufolge jedoch Schwächen. Klassifikatoren, die anhand von Beispieltexten lernen, müssten für zig Textarten trainiert werden; der Aufbau einer solchen Datenbasis wäre mit großem Aufwand verbunden. Auch die Idee, das Sprachmodell ein unsichtbares Wasserzeichen im Text integrieren zu lassen, das mittels eines Algorithmus erkannt werden kann, hat einen Haken: Die Anbieter der KI-Tools selbst müssten das Watermarking einfügen – aber warum sollten sie das tun? Statistische Verfahren wiederum bräuchten Zugriff auf die Wahrscheinlichkeitswerte der erzeugten Texte, was für Systeme wie ChatGPT ohne API-Zugriff nicht gegeben ist.

Und während die Forschung noch rätselt, ist das Wettrennen längst in vollem Gange: „Die enorme Geschwindigkeit der Entwicklung in diesem Sektor bedeutet, dass jegliche Methoden, KI-generierte Texte zu erkennen, sehr schnell wieder sehr alt aussehen“, betonte die IT-Journalistin Melissa Heikkilä jüngst in einem von Heise.de veröffentlichten Beitrag für die MIT Technology Review.