Schulen lassen KI Kinder überwachen, die Suizid in Betracht ziehen könnten. Aber zu welchem Preis?

(SeaPRwire) –   Selbstmord ist jetzt die unter amerikanischen Jugendlichen zwischen 10 und 14 Jahren. Das Problem des Jugendselbstmords hat sich in letzter Zeit auch verschärft, unter anderem aufgrund eines an psychologischen Fachkräften, insbesondere in , wo wenn verfügbar, ein Schulpsychologe, Berater oder Sozialarbeiter helfen kann, gefährdete Jugendliche zu identifizieren und Schritte in Richtung einer angemessenen .

Als Reaktion darauf haben Schulverwalter, denen finanzielle und personelle Engpässe drohen, zunehmend auf Technologie zurückgegriffen, um bei der Bewältigung der Jugendselbstmordkrise zu helfen. Genauer gesagt haben Unternehmen wie Bark, Gaggle, GoGuardian und Securly Technologien in Form von entwickelt, die die Computerverwendung von Schülern verfolgen, um Schüler zu identifizieren, die psychische Gesundheitsprobleme haben. Es ist dazu gedacht, im Hintergrund der von der Schule ausgegebenen Computergeräte und Konten der Schüler zu arbeiten und Aktivitäten zu melden, die darauf hindeuten können, dass sie sich selbst gefährden.

Diese Überwachungssoftware wird bundesweit an Millionen von Schülern eingesetzt. Viele Eltern und Gemeindemitglieder sind sich jedoch der Existenz dieser Software nicht bewusst. Die Schüler haben möglicherweise ein gewisses Bewusstsein dafür, dass ihre Schulgeräte überwacht werden, kennen aber wahrscheinlich nur einen begrenzten Umfang von wie sie genutzt wird. Auch wenn die Identifizierung von Suizidrisiken ein lohnenswertes Ziel sein könnte, kann eine KI-Überwachung wie ein erheblicher Eingriff in die Privatsphäre empfunden werden und andere unvorhergesehene Nachteile mit sich bringen.

Als Forscher, deren Arbeit sich auf Dimensionen der Ungleichheit, psychische Gesundheit und Technologiepolitik konzentriert hat, haben wir Mitarbeiter interviewt und mit ihnen gesprochen, um die Vor- und Nachteile dieser Software besser zu verstehen. Ein Schuldirektor sagte uns, dass diese Überwachungssoftware kann gefährdete Schüler identifizieren, die möglicherweise noch nicht im Fokus der Schulmitarbeiter stehen und ihnen so die Möglichkeit geben, bevor sich die Situation verschlimmert einzugreifen.

Wir sind Forscher, aber wir sind alle auch Eltern, und diese zusätzliche Sicherheit bei der Erkennung von Suizidrisiken kann sich zunächst wie eine Selbstverständlichkeit anfühlen. Der Gedanke, ein Kind zu verlieren, ist beängstigend, und so ist es völlig nachvollziehbar, dass Schulen nach einem scheinbar kostengünstigen Werkzeug greifen, das die privaten, sensiblen Gedanken von Schülern zu Selbstgefährdung “auffangen” kann, die sie möglicherweise niemandem außerhalb ihrer Google-Suchleiste anvertrauen.

Das Problem ist jedoch, dass es abgesehen von Anekdoten wenig harte Beweise für die Genauigkeit dieser Software gibt und es zahlreiche Beispiele in der Geschichte gibt, in denen gut gemeinte zu psychischen Gesundheitsinterventionen Schaden angerichtet haben. Ebenso ist immer deutlicher, dass sich auch neue Technologien auf die psychische Gesundheit von Jugendlichen auswirken können.

Durch eine sorgfältige Überprüfung der vorhandenen Beweise und durch Interviews mit Dutzenden von Schulmitarbeitern, Eltern und anderen stellten wir fest, dass eine auf KI basierende Überwachung die anhaltende und wachsende Problematik des Jugendselbstmords keineswegs lösen, sondern eher mehr Probleme verursachen könnte als das, was sie lösen möchte.

Erstens bedroht der Einsatz von KI-basierten Überwachung die Privatsphäre der Schüler. Da die Software während der Nutzung der von der Schule ausgegebenen Computergeräte und -konten durch die Schüler läuft, besteht die Möglichkeit, große Mengen an Daten über ihr Leben zu sammeln. Obwohl einige Unternehmen Maßnahmen ergriffen haben, um die Schülerdaten zu schützen, gibt es keine bundesweite Regulierung, die den größten Teil der gesammelten Daten, ihre Speicherung und eine mögliche Weitergabe einschränkt.

Die Privatsphäregefahr wird noch verstärkt dadurch, dass Familien Schwierigkeiten haben können, von der Nutzung der Software abzusehen. In vielen Schulbezirken müssen sich Familien zur Überwachung durch KI einwilligen, um die Schulcomputer überhaupt nutzen zu dürfen, was für viele Familien keine erschwingliche Option ist.

Zweitens haben viele Eltern und Forscher geäußert, dass der Einsatz von KI-Algorithmen zur Identifizierung gefährdeter Schüler Ungleichheiten verschärfen könnte. So gab es Berichte, dass Internetrecherchen von LGBTQ+-Schülern überproportional häufig von KI-Software gemeldet wurden. Ihre Aktivitäten könnten dann gegen ihren Willen vor die Augen der Schulleitung gebracht werden.

Die potenzielle Voreingenommenheit von Algorithmen zur Vorhersage von Suizidrisiken gegenüber marginalisierten Gruppen ist durch andere Studien gut dokumentiert. Obwohl viele behaupten, diese Algorithmen könnten werden, fehlt es an Transparenz darüber, wie und wann KI-Warnungen tatsächlich ausgelöst werden, was eine Überprüfung der Daten erschwert, um die mögliche Voreingenommenheit besser zu verstehen. Eine weitere 2023 veröffentlichte Studie nährte zusätzliche Bedenken hinsichtlich der von KI-basierter Schülerüberwachungssoftware generierten Alerts, indem sie nachwies, dass die Programme konsequent Inhalte im Zusammenhang mit Rasse, Geschlecht und sexueller Orientierung melden, einschließlich von Recherchen zu Themen wie Malcolm X und dem Gay Men’s Chorus of Washington.

Schließlich liegt es nach dem Flaggen möglicher Risikofälle durch die KI-Software in der Verantwortung der Schulen zu entscheiden, wie auf die erhaltenen Hinweise reagiert werden soll. In unseren Interviews hörten wir Geschichten von durch KI-Überwachung erzeugten Alerts, die zur Disziplinierung von Schülern genutzt wurden. So berichtete uns ein Lehrer von einem Schüler mit psychischen Problemen, der von der Schule suspendiert anstatt mit einem Berater oder anderen psychologischen Fachkräften zusammengebracht wurde.

Noch schlimmer ist, dass KI-basierte Überwachung zu mehr Kontakten zwischen Schülern und Strafverfolgungsbehörden führen könnte. Viele Schulen leiten am Wochenende und in Ferien, wenn sie kein Personal haben, um Informationen zu prüfen, automatisch durch KI erzeugte Hinweise auf Suizidgefahr an die örtliche Polizei weiter. Aus Sicht der Schule ist dies oft der beste Weg, um sicherzustellen, dass ein Schüler in einer psychischen Krise sofortige Hilfe erhält. Allerdings sind Strafverfolgungsbehörden möglicherweise nicht am besten geeignet, Schüler in Not zu unterstützen, und könnten sogar . Dies haben wir bereits in anderen Fällen beobachtet, wenn die Polizei bei psychischen Gesundheitskrisen hinzugezogen wurde; das Risiko einer Konfrontation mit der Polizei ist real – besonders für Jugendliche mit anderer ethnischer Herkunft – und muss bei der Abwägung von Vor- und Nachteilen dieser Werkzeuge berücksichtigt werden.

Einige in unseren Interviews wiesen auch darauf hin, dass diese Software bestehende Ungleichheiten in Bezug auf Schuldisziplin verstärken könnte. So wissen wir bereits, dass Schüler mit anderer ethnischer Herkunft häufiger mit Schulausschlüssen und -verweisen konfrontiert sind, was mit dem zusammenhängt. Durch KI-Software erzeugte Alerts könnten diese Ungleichheiten verstärken, indem sie die Wahrscheinlichkeit eines Kontakts mit Strafverfolgungsbehörden erhöhen.

Letztendlich bleibt unklar, ob diese Werkzeuge Suizidrisiken bei Schülern tatsächlich genau erkennen können. Bislang wurden keine Studien durchgeführt, die den Schülern nachgingen, die von diesen Programmen als “suizidgefährdet” eingestuft wurden, um festzustellen, ob sie tatsächlich gefährdet waren (“true positives”) oder nicht (“false positives”); auch wurden keine Studien durchgeführt, die den Umfang untersuchten, in dem Schüler, die tatsächlich suizidgefährdet waren, nicht von den Programmen erkannt wurden (“false negatives”). Auch Schul- und polizeiliche Reaktionen auf diese Hinweise und letztendliche Ausgänge für die Schüler – ob ein als gefährdet eingestufter Schüler medizinische Versorgung oder psychologische Betreuung erhält oder ob ein als gefährdet eingestufter Schüler gewalttätige Konfrontationen mit der Polizei hatte – werden nicht dokumentiert. Dieser Mangel an Nachweisen bedeutet, dass die Vorteile der Software im Vergleich zu den von unserer Forschung aufgedeckten Risiken nicht eindeutig sind.

Eltern, Schüler, Schulmitarbeiter und Gesundheitsfachleute müssen sorgfältig zwischen möglichen Nutzen und Herausforderungen von KI-basierter Überwachung abwägen. Auch wenn sie eine wichtige Ressource für Schulen inmitten einer wachsenden psychischen Gesundheitskrise von Jugendlichen sein kann, sind die tatsächlichen Nutzen und Risiken dieser Technologie – einschließlich der Frage, ob sie Suizidrisiken tatsächlich genau erkennen kann – unbekannt.

In der Zwischenzeit ist es wichtig anzuerkennen, dass bekannte Probleme mit KI-basierten Werkzeugen bestehen, auch wenn Schulbezirke ihre Budgets für deren Einsatz zur Erkennung von Suizidgefahr einsetzen. Die Software wirft wichtige Datenschutzbedenken auf und kann bestehende Ungleichheiten verschärfen. Daher müssen Unternehmen und Schulen sicherstellen, dass Familien umfassende Informationen über die Nutzung der Software erhalten. Familien sollten auch die Möglichkeit haben, die Überwachung ohne Nachteile ablehnen zu können. Darüber hinaus ist auf Bundes-, Landes- und kommunaler Ebene eine stärkere Regulierung erforderlich, um angemessene Schutzmaßnahmen für die Privatsphäre und Rechte von Schülern sicherzustellen.