Mensch oder Maschine

Wie können Lehrkräfte KI-Texte erkennen?

Mehr als zwei Jahre nach der Vorstellung von ChatGPT gehört die Nutzung von KI-Systemen zum Alltag an Schulen. Für Lehrkräfte bleibt der Umgang damit dennoch herausfordernd.

Foto: pixabay.com (mit Hilfe einer Bild-KI)

06.03.2025 - Nadine Emmerich, freie Journalistin

Nach der Veröffentlichung von ChatGPT Ende 2022 war kaum ein halbes Jahr vergangen, da machte diese Nachricht Schlagzeilen: Hamburger Schüler*innen sollen sich bei den schriftlichen Abiturprüfungen von künstlicher Intelligenz (KI) haben helfen lassen. Wie genau, blieb unklar. Lehrkräften seien beim Korrigieren der Arbeiten Unregelmäßigkeiten aufgefallen, weil Teile der Klausuren mangelhaft, andere wiederum fehlerfrei gewesen seien, meldete die Deutschen Presse-Agentur. Prüfprogramme hätten den Einsatz von ChatGPT für möglich gehalten.

Eine repräsentative Umfrage unter 504 Schüler*innen zwischen 14 und 19 Jahren im Auftrag des Digitalverbands Bitkom bestätigte damals: Mehr als die Hälfte der Schülerinnen und Schüler (53 Prozent) nutzte den Chatbot der US-Firma OpenAI bereits. Am häufigsten wurde die neue Technologie von Gymnasiast*innen genutzt (57 Prozent). Unter den Schüler*innen, die ChatGPT verwendeten, taten dies die meisten für ihre Hausaufgaben (62 Prozent).

„Ich ging am Ende davon aus, dass 36 von 40 Abgaben komplett mit KI erstellt wurden.“ (Manuel Flick)

Einige Lehrer*innen mögen inzwischen Auge und Gespür für KI-generierte Texte geschult haben. So schrieb der Berliner Oberstufenzentrum-Lehrer und Blogger Manuel Flick im Dezember 2024 in seinem KI-Newsletter, er habe seinen E-Commerce-Klassen aufgegeben, zu Hause selbstständig an einem Thema zu arbeiten und die Ergebnisse auf der Lernplattform hochzuladen. Als er diese sichtete, war er irritiert: In den meisten Fällen ließen sich die Arbeiten nicht auf sein zur Verfügung gestelltes Material zurückführen. Zudem waren alle Abgaben komplett ausformuliert, obwohl das gar nicht gefordert war.

KI-typischer Schreibstil

„Bei genauerem Hinsehen und nochmaligem Vergleichen fiel mir dann der KI-typische Schreibstil auf. Ich ging am Ende davon aus, dass 36 von 40 Abgaben komplett mit KI erstellt wurden“, sagt Flick. Im Gespräch habe sich dann gezeigt, dass er richtig gelegen habe.

Auch wenn Flicks Erfahrung natürlich nicht repräsentativ ist, so lässt sich wohl behaupten, dass KI-Systeme in ähnlich großem Stil bundesweit in Schulen Verwendung finden. Allerdings werden vermutlich nicht 36 von 40 Lehrer*innen dies feststellen.

„Die Erkennung, ob ein Text von einer Künstlichen Intelligenz (KI) verfasst wurde, kann eine Herausforderung darstellen, da KI-Modelle wie GPT-3, auf denen ich basiere, darauf ausgelegt sind, menschliches Schreiben nachzuahmen. Dennoch gibt es einige Anhaltspunkte, die Ihnen helfen könnten, einen Text zu identifizieren, der von einer KI geschrieben wurde. Hier sind einige Tipps:

Überprüfen Sie die Qualität des Textes: KI-generierte Texte können manchmal holprig oder unbeholfen wirken. Achten Sie auf grammatikalische Fehler, unpassende Satzstrukturen oder inkohärente Absätze. KI-Texte neigen dazu, gelegentlich ungewöhnliche oder fehlerhafte Formulierungen zu enthalten.
Prüfen Sie die Konsistenz: Wenn ein Text zu perfekt oder zu gleichmäßig wirkt, könnte dies ein Hinweis darauf sein, dass er von einer KI generiert wurde. KI-Modelle neigen dazu, in Bezug auf den Schreibstil und die Qualität ihrer Ausgabe sehr konsistent zu sein.
Testen Sie das Wissen oder die Recherchebasis: KI-Modelle haben ein bestimmtes Wissensniveau, das auf den Trainingsdaten basiert. Wenn der Text über hochspezialisierte oder topaktuelle Informationen verfügt, die nicht allgemein verfügbar sind oder von einem Lehrer erwartet werden, besteht die Möglichkeit, dass er von einer KI generiert wurde. KI-Modelle haben möglicherweise Schwierigkeiten, aktuelle Ereignisse oder spezifische lokale Informationen korrekt wiederzugeben.
Interaktion: KI-Modelle können Schwierigkeiten haben, auf spezifische Fragen oder Nachfragen angemessen zu reagieren. Wenn der Text nicht auf Rückfragen eingeht oder eher vage oder allgemeine Antworten gibt, könnte dies auf eine KI-generierte Antwort hinweisen.
Es ist wichtig zu beachten, dass die KI-Technologie ständig weiterentwickelt wird, und es immer schwieriger wird, KI-generierte Texte von menschlich verfassten Texten zu unterscheiden. Es gibt jedoch auch Ansätze wie die Verwendung von speziellen KI-Erkennungstools oder die Überprüfung von Metadaten, um festzustellen, ob ein Text von einer KI stammt.“

Studie: „Erkennen Lehrer KI?“

Die Studie „Erkennen Lehrer KI? Bewertung der Erkennbarkeit von KI-generierten Texten unter studentischen Aufsätzen“ kam im Juni 2024 zu dem Schluss: „Unsere Ergebnisse zeigen, dass die aktuelle KI mit relativ wenig Eingabeaufforderung Texte generieren kann, die für Lehrer nicht erkennbar sind, was für Schulen und Universitäten eine Herausforderung bei der Benotung von Schüleraufsätzen darstellt.“ Sowohl Anfänger*innen als auch erfahrene Lehrer*innen konnten von ChatGPT generierte Texte demnach nicht unter den von Schüler*innen geschriebenen Texten identifizieren.

Wenn also Studien zu dem Schluss kommen, es sei nicht einfach möglich, zu erkennen, ob etwas von Mensch oder Maschine geschrieben wurde, wie sollen dann Lehrer*innen KI-generierte Texte klar als solche identifizieren? Um es vorwegzunehmen: Auch dieser Artikel kann darauf keine klare Antwort geben. Erklärt werden soll indes, was aktuell in Sachen KI-Erkennung auf dem Markt passiert.

KI durch KI erkennen

Mittlerweile gibt es immer mehr Tools, die dabei helfen sollen, KI-Texte zu identifizieren. OpenAI nahm seinen eigenen AI Classifier zwar schon im Juli 2023 wegen geringer Genauigkeit wieder vom Netz. Regelmäßig werden jedoch neue Programme vorgestellt.

Die hier exemplarisch genannte Software ist nicht als Empfehlung der GEW zu verstehen, sondern als ein Überblick einiger derzeit auf dem Markt verfügbarer Tools. Viele davon haben kostenfreie Versionen, so dass sich einfach damit experimentieren lässt, und darauf aufbauend mehrere Preisoptionen. Schlagzeilen machte der Student der US-Eliteuniversität Princeton, Edward Tian, der Anfang 2023 das von ihm entwickelte GPT Zero online stellte. Es gibt aber auch deutschsprachige Plattformen: So bietet etwa Copyleaks.com eine begrenzte Anzahl täglicher Scans kostenfrei an und kann zudem weitere Sprachen erkennen.

Meist ist Registrierung erforderlich

Kostenfrei ist auch der englischsprachige AI Content Detector. GPTRadar ist ebenfalls englischsprachig, aber auch für deutsche Texte nutzbar. Leistungen und Konditionen vieler Plattformen ändern sich jedoch regelmäßig. Einige offerieren zudem eine Plagiatsprüfung. Originality.AI kann neben einzelnen Texten bei Eingabe der URL ganze Webseiten auswerten.

Die meisten Tools erfordern eine Registrierung. Ohne Anmeldung funktioniert derweil beispielsweise Draft & Goal, das in mehreren Sprachen, darunter Deutsch, kostenfrei funktioniert. Für Google Chrome gibt es auch die kostenfreie Erweiterung ChatGPTDetector.

Rankings von KI-Expert*innen

Viele Tools scheinen Blogger*innen zufolge bei englischsprachigen KI-Texten besser zu funktionieren als bei deutschen, die sie häufig als menschliche einstufen. Deutsche KI-Detektoren sind beispielsweise auch Isgen.ai und KI-Detektor.

Der Blog Gradually.ai veröffentlichte im Juli 2024 ein Ranking von zwölf KI-Detektoren, das einen guten Überblick über Erkennungsquoten, Preise und Sprachen bietet. Auf Platz eins sahen die Expert*innen Originality.AI, gefolgt von CopyLeaks und Sapling AI Detector (letzterer funktioniert ohne Anmeldung, es gibt eine Free-Version und Add-ons). Einschränkend muss allerdings hinzugefügt werden, dass andere Tester*innen teils zu abweichenden Ergebnissen kamen. Relativ viel Einigkeit gibt es bei Originality.AI und Sapling AI Detector. CopyLeaks und GPTZero schneiden ebenfalls auch bei anderen Expert*innen ganz gut ab.

KI-Detektoren können ausgetrickst werden

Bei allen Test von KI-Erkennungstools sollte jedoch beachtet werden, dass Textgeneratoren im Laufe der Zeit immer besser werden. „Die enorme Geschwindigkeit der Entwicklung in diesem Sektor bedeutet, dass jegliche Methoden, KI-generierte Texte zu erkennen, sehr schnell wieder sehr alt aussehen“, betonte die IT-Journalistin Melissa Heikkilä schon Ende 2022 in einem von Heise.de veröffentlichten Beitrag für die MIT Technology Review.

Unterdessen kursieren im Netz bereits Tipps von Studierenden, wie sich KI-Detektoren so austricksen ließen, dass sie bei KI-generierten Hausarbeiten nicht anschlügen. In Blogbeiträgen wird erklärt, wie Hochschulen und Prüfer*innen vorgingen, um KI-generierte, wissenschaftliche Arbeiten zu erkennen. Dabei geht es nicht nur darum, KI-Texte mit Blick auf bestimmte Kriterien selbst umzuschreiben. Längst sind so genannte KI-Verschlüsselungstools auf dem Markt, die KI-Texte in eine menschlichere Sprachform umwandeln.

Grundsätzlich lässt sich festhalten:

KI-Texte lassen sich möglicherweise daran erkennen, dass sie wenig originell und abwechslungsreich sind sowie viele Wiederholungen enthalten; Menschen variieren beim Schreiben stärker.
KI-Textgeneratoren tendieren auch dazu, Wörter oder inhaltliche Aspekte zu wiederholen.
Eine Art SEO-Stil mit vielen aneinander gereihten Keywords könnte ebenfalls auf eine KI als Urheber hindeuten.
Fehler machen KI-Tools Beobachtungen zufolge häufig etwa bei Abkürzungen und Fachbegriffen, aber auch bei Artikeln und Konjunktionen.
Von Menschen geschriebene Texte haben unterdessen oft mehr Rechtschreib- oder Grammatikfehler.
Darüber hinaus finden sich in KI-generierten Texten selten Dialekt, Umgangssprache oder Redewendungen.

Ausführliche Empfehlungen, an denen sich auch Lehrer*innen orientieren könnten, stellte zum Beispiel Chip.de zusammen.