KI in der Bildung
Von Chancen und Risiken
Durch Künstliche Intelligenz (KI) gestützte Technologien ziehen auch in Schulen und Universitäten ein. Dabei gibt es Chancen und Risiken. Die KI-Verordnung der Europäischen Union (EU) ist ein erster Schritt zu einer notwendigen Regelung.
Was sind die wichtigsten Konzepte der Thermodynamik?“ – „Was ist eine Bilanz und wie berechne ich sie?“ Solche Klausurfragen und Hausaufgaben können heutzutage zunehmend von Anwendungen der KI wie ChatGPT beantwortet werden. Die Hauptfunktion von ChatGPT ist es, menschenähnliche Konversationen zu führen und auf eine Vielzahl von Fragen und Anfragen zu antworten. Damit ist diese KI-Anwendung mittlerweile bei Schülerinnen und Schülern beliebter als Wikipedia.
KI hat viel Potenzial. Es gibt jedoch auch Risiken – von der massenhaften Überwachung via Gesichts- oder Emotionserkennung über die Verstärkung gesellschaftlicher Ungleichheiten und Diskriminierung bis hin zur KI-unterstützten Desinformation: Unregulierte KI gefährdet unsere Grundrechte und demokratischen Prozesse in hohem Maße. Deshalb war der Vorschlag der EU-Kommission für ein umfassendes KI-Gesetz im April 2021 ein weltweit bedeutender Schritt.
Eine Regulierung der KI-Systeme im Bildungskontext ist daher entscheidend.
Auch im Bildungsbereich bieten KI-Systeme Chancen für ein besseres Lehren und Lernen. Datenanalysen können Einblicke in den Lernprozess bieten, während Sprachassistenten und adaptives Lernen das Potenzial haben, eine integrativere Bildung zu fördern.
KI birgt aber auch in diesem Bereich potenzielle Risiken und Herausforderungen. So besteht die Gefahr, dass schlechte pädagogische Praktiken automatisiert werden, Lernende unverhältnismäßig überwacht oder bestehende Vorurteile und diskriminierende Ansätze gefestigt werden.
Ein Beispiel: Die Covid-19-Pandemie zwang viele Bildungseinrichtungen dazu, Prüfungen auch online durchzuführen. Dabei wurde, auch in Deutschland, vermehrt auf KI-Anwendungen gesetzt. Sogenannte Proctoring-Software sollte mit einer Kombination aus maschinellem Lernen und Biometrie (einschließlich Emotions- und Gesichtserkennung oder Augenverfolgung) verhindern, dass bei der Beantwortung von Fragen geschummelt wird. Allerdings haben Technologien, die Emotionen erkennen sollen, in der Vergangenheit immer wieder zu rassistischen, sexistischen und transphoben Schlussfolgerungen geführt. Eine Regulierung der KI-Systeme im Bildungskontext ist daher entscheidend.
Schwieriger Weg bis zur Einigung
Mit der „Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz“ will die EU in Zukunft den Maßstab für KI-Anwendungen setzen. Die neuen Regeln legen fest, wie KI-Systeme in der EU entwickelt und eingesetzt werden dürfen. Sie sollen sicherstellen, dass in der EU eingesetzte KI-Systeme sicher, transparent, rückverfolgbar, nicht diskriminierend und umweltfreundlich sind.
Die neuen Vorschriften kategorisieren KI-Systeme auf der Grundlage ihres „Risikos“ und verbieten KI-Praktiken und -Systeme, die „unannehmbare Risiken“ darstellen. Dazu gehören etwa biometrische Kategorisierungssysteme, die auf sensible Attribute wie Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen und sexuelle Orientierung schließen lassen. Das Gesetz schreibt zudem eine EU-weite Datenbank für risikoreiche KI vor und räumt Betroffenen Rechte ein, KI-gestützte Entscheidungen erklärt zu bekommen. Große KI-Systeme müssen gewisse Transparenzanforderungen erfüllen.
Einfach war der Weg zur Einigung nicht: Das Europaparlament (EP) und der Rat der EU stritten sich lange über die komplexen Regeln. Kurz vor Weihnachten 2023 und nach mehr als drei Tagen Marathonsitzung konnten sich die beiden EU-Institutionen jedoch noch auf einen Kompromiss einigen.
Die größten neuen KI-Modelle wie ChatGPT und Gemini müssen nun umfassend getestet werden, bevor sie in der EU auf den Markt gebracht werden können.
Mit dem Ausbruch des Hypes um ChatGPT Anfang vergangenen Jahres standen plötzlich auch die geplanten Regeln des europäischen KI-Gesetzes im globalen Rampenlicht. Das EP kämpfte dafür, die Artikel zu den Basismodellen in den finalen Gesetzestext zu retten; der Rat der EU – allen voran Frankreich und Deutschland – weigerte sich lange, diese zu regulieren. Das Parlament konnte sich hier durchsetzen. Die größten neuen KI-Modelle wie ChatGPT und Gemini müssen nun umfassend getestet werden, bevor sie in der EU auf den Markt gebracht werden können. Sie müssen zudem transparenter als bisher darlegen, wie ihre Modelle trainiert, mit welchen Daten sie gefüttert werden und wie viel Energie sie verbrauchen.
In anderen Punkten konnte sich das EP nicht durchsetzen. So wollte es ein weitreichendes Verbot von KI-Systemen zur Emotionserkennung in der EU erreichen. Diese Technologien sollten an Schulen und Universitäten, am Arbeitsplatz, bei Sicherheitsbehörden und auch in der Grenzkontrolle auf die Verbotsliste gesetzt werden. Übrig geblieben ist jetzt nur noch ein Verbot im Bildungsbereich und bei der Arbeit. Die Verordnung sieht zudem vor, dass „risikoreiche“ KI-Systeme – zum Beispiel Werkzeuge, die im Bildungswesen zu Bewertungs- und Zulassungszwecken eingesetzt werden – so konzipiert sein müssen, dass sie von Menschen überprüft werden können. Ein vollständiges Verbot gibt es für KI-Systeme, die die Sicherheit und die Rechte des Einzelnen bedrohen und das Verhalten gefährdeter Gruppen, etwa von Kindern, manipulieren können.
Verbotsliste durch EU-Ministerrat verwässert
Während der Verhandlungen sah es lange danach aus, als würde auch ein komplettes Verbot biometrischer Echtzeitüberwachung möglich sein. Leider ist die Verbotsliste auf den letzten Metern durch den Rat verwässert worden: Echtzeit- und nachträgliche Gesichtserkennung im öffentlichen Raum werden durch das Gesetz weitgehend erlaubt, Verbote gelten nicht für private Unternehmen oder Verwaltungsbehörden. EU-Mitgliedstaaten dürfen in Echtzeit Menschen überwachen und identifizieren – auch dann, wenn es nur einen vagen Hinweis auf die „Gefahr einer Straftat“ gibt. Strafverfolgungs- und Migrationsbehörden müssen nicht öffentlich bekannt geben, ob und wie sie KI-Anwendungen mit hohem Risiko verwenden.
Positiv ist jedoch, dass die KI-Verordnung grundrechtliche Folgenabschätzungen und eine öffentliche Transparenz vorschreibt, wenn Behörden Hochrisiko-KI einsetzen. Betroffene Menschen haben zudem das Recht auf eine Erklärung, wenn ihre Rechte durch die Entscheidung einer Hochrisiko-KI beeinträchtigt wurden, und können dagegen Beschwerde einlegen.
Ebenfalls positiv ist, dass Mitgliedstaaten die Möglichkeit haben, auf nationaler Ebene strengere Regeln zu erlassen.
Ebenfalls positiv ist, dass Mitgliedstaaten die Möglichkeit haben, auf nationaler Ebene strengere Regeln zu erlassen, zum Beispiel bei der biometrischen Überwachung. Hier hat Deutschland jetzt die Chance, in Sachen Grundrechtsschutz zum Vorreiter in der EU zu werden.
Mitte März hat das EP die KI-Verordnung mit großer Mehrheit verabschiedet – das Gesetz kann also vor der Europawahl im Juni in Kraft treten. Die meisten Regeln werden jedoch erst nach zwei Jahren greifen. Nur die Verbote gelten bereits nach sechs Monaten und damit vielleicht sogar schon in diesem Jahr.
Die Verabschiedung des KI-Gesetzes ist ein historischer Meilenstein. Auch wenn das Parlament einige Abstriche machen musste: Die EU hat den ersten Rechtsrahmen der Welt mit soliden Regeln für ethische KI geschaffen.
