38C3

Trainierte KI-Modelle sind mächtige Werkzeuge, die in Wissenschaft und Forschung oft für gute Zwecke gebaut werden. Aber wie alle Werkzeuge können sie auch zweckentfremdet werden – in Bereichen, für die sie nicht gedacht waren, in denen sie profitgierigen Interessen dienen und gesellschaftlichen Schaden anrichten. Vor dem Hintergrund des Trends von "open source" AI ist die Gefahr der unkontrollierten Zweckentfremdung von KI-Modellen enorm gestiegen. Wir zeigen: Das Risiko einer missbräuchlichen Sekundärnutzung von für Forschungszwecke trainierten KIs ist aktuell die größte regulatorische Lücke, trotz DSGVO und AI-Act. Zugleich ermöglicht das Zweckentfremden von Modellen die immer weiter wachsende Machtposition von Big Tech. Um das Problem zu bekämpfen, muss das Prinzip "Zweckbindung" für das Zeitalter der KI geupdated werden.

Was können die Tools wirklich, was machen sie mit der “Bildung”, und sollten wir dafür Steuergelder ausgeben?

Spätestens seit dem Hype um ChatGPT werden KI-Tools als magische Technofixes für Lehrkräftemangel und soziale Segregation im Bildungswesen angepriesen. Mehrere Bundesländer haben zum Beispiel Flächenlizenzen für alle Lehrkräfte bei dem Hamburger Unternehmen "Fobizz" erworben. Das Unternehmen bietet auf Basis großer Sprachmodelle (meist GPT-3/4) und verschiedener bildgenerierender KIs eine ganze Reihe von Bots sowohl für SchülerInnen als auch für LehrerInnen an: Tools zur automatisierten Korrektur und Bewertung von Hausaufgaben, Chatbot-basierte individuelle Lern-Coaches, Avatare zur Gesprächssimulation ("mit Angela Merkel chatten"), oder Bots zur Erstellung von individualisiertem Unterrichtsmaterial.
Wir haben das Fobizz-Tool zur automatisierten Korrektur von Hausaufgaben und Prüfungsleistungen detailliert unter die Lupe genommen. Funktioniert das wirklich? Wie wirkt sich das auf die Qualität des Unterrichts aus? Kann man LehrerInnen und SchülerInnen guten Gewissens darauf loslassen? – Unsere Antwort ist schockierend eindeutig: nein! Und es ist ein Skandal, dass Steuergelder dafür ausgegeben werden. Im Vortrag berichten wir von frustrierenden Irrfahrten wenn SchülerInnen den Korrekturen des KI-Tools folgen; von quasi ausgewürfelten Bewertungen (nach dem Motto: wenn dir die Note für diese Person nicht passt, drück einfach auf "re-generate"), und von der impliziten Botschaft an die SchülerInnen: Ihr müsst ChatGPT verwenden, sonst könnt ihr nicht gut abschneiden.