Inmitten einer Klage wegen des Suizids eines Teenagers führt OpenAI „Kindersicherungen“ für ChatGPT ein

(SeaPRwire) –   OpenAI wird in den nächsten Monaten mit der Einführung von „Kindersicherungen“ für seinen KI-Chatbot ChatGPT beginnen, inmitten wachsender Besorgnis darüber, wie sich der Chatbot im Kontext der psychischen Gesundheit verhält, insbesondere bei jugendlichen Nutzern.

Das Unternehmen, das die neue Funktion am Dienstag in einem Blogbeitrag bekannt gab, sagte, es verbessere, wie seine „Modelle Anzeichen von psychischer und emotionaler Belastung erkennen und darauf reagieren“.

OpenAI wird eine neue Funktion einführen, die es Eltern ermöglicht, ihr Konto über eine E-Mail-Einladung mit dem ihres Kindes zu verknüpfen. Eltern werden auch in der Lage sein zu kontrollieren, wie der Chatbot auf Eingabeaufforderungen reagiert, und erhalten eine Benachrichtigung, wenn der Chatbot erkennt, dass ihr Kind sich in einem „Moment akuter Not“ befindet, so das Unternehmen. Zusätzlich soll die Einführung es Eltern ermöglichen, „zu verwalten, welche Funktionen deaktiviert werden sollen, einschließlich Gedächtnis und Chat-Verlauf“.

OpenAI hatte zuvor angekündigt, dass es untersucht, wie Jugendliche einen vertrauenswürdigen Notfallkontakt zu ihrem Konto hinzufügen können. Doch das Unternehmen skizzierte in seinem jüngsten Blogbeitrag keine konkreten Pläne zur Einführung einer solchen Maßnahme.

„Diese Schritte sind nur der Anfang. Wir werden weiterhin lernen und unseren Ansatz, geleitet von Experten, stärken, mit dem Ziel, ChatGPT so hilfreich wie möglich zu machen“, sagte das Unternehmen.

Diese Ankündigung erfolgt eine Woche, nachdem die Eltern eines Teenagers, der durch Suizid starb, OpenAI verklagt haben, mit der Behauptung, dass ChatGPT ihrem Sohn Adam geholfen habe, „Suizidmethoden zu erkunden“. TIME hat OpenAI um einen Kommentar zu der Klage gebeten. (OpenAI hat die rechtliche Anfechtung in seiner Ankündigung bezüglich der Kindersicherungen nicht explizit erwähnt.)

„ChatGPT funktionierte genau wie vorgesehen: um alles, was Adam äußerte, einschließlich seiner schädlichsten und selbstzerstörerischsten Gedanken, kontinuierlich zu fördern und zu bestätigen“, argumentierte die Klage. „ChatGPT zog Adam tiefer in einen dunklen und hoffnungslosen Ort, indem es ihm versicherte, dass ‚viele Menschen, die mit Angst oder aufdringlichen Gedanken zu kämpfen haben, Trost darin finden, sich einen ‚Notausgang‘ vorzustellen, weil es sich wie eine Möglichkeit anfühlen kann, die Kontrolle zurückzugewinnen.‘“

Mindestens ein Elternteil hat eine ähnliche Klage gegen ein anderes Unternehmen für künstliche Intelligenz, Character.AI, eingereicht, mit der Behauptung, die Chatbot-Begleiter des Unternehmens hätten den Suizid ihres 14-jährigen Sohnes gefördert.

Als Reaktion auf die Klage im letzten Jahr teilte ein Sprecher von Character.AI TIME mit, man sei „untröstlich über den tragischen Verlust“ eines seiner Nutzer und drückte der Familie sein „tiefstes Beileid“ aus.

„Als Unternehmen nehmen wir die Sicherheit unserer Nutzer sehr ernst“, sagte der Sprecher und fügte hinzu, dass das Unternehmen neue Sicherheitsmaßnahmen implementiert habe.

Character.AI verfügt nun über eine Eltern-Einblicke-Funktion, die es Eltern ermöglicht, eine Zusammenfassung der Aktivitäten ihres Kindes auf der Plattform einzusehen, wenn der Teenager ihnen eine E-Mail-Einladung sendet.

Andere Unternehmen mit KI-Chatbots, wie Google AI, verfügen über bestehende Kindersicherungen. „Als Elternteil können Sie die Gemini-Einstellungen Ihres Kindes, einschließlich des Ein- oder Ausschaltens, mit Google Family Link verwalten“, heißt es in den Anweisungen von Google an Eltern, die den Zugang ihres Kindes zu Gemini Apps verwalten möchten. Meta kündigte kürzlich an, dass es seine Chatbots daran hindern würde, sich an Gesprächen über Suizid, Selbstverletzung und Essstörungen zu beteiligen, nachdem Reuters über ein internes Richtliniendokument mit besorgniserregenden Informationen berichtet hatte.

Eine kürzlich in der medizinischen Fachzeitschrift Psychiatric Services veröffentlichte Studie, die die Antworten von drei Chatbots – OpenAI’s ChatGPT, Google AI’s Gemini und Anthropic’s Claude – testete, ergab, dass einige von ihnen auf Fragen reagierten, die von den Forschern als „mittlere Risikostufen“ im Zusammenhang mit Suizid bezeichnet wurden.

OpenAI hat einige bestehende Schutzmaßnahmen implementiert. Das in Kalifornien ansässige Unternehmen erklärte in einer Stellungnahme gegenüber der New York Times als Reaktion auf die Ende August eingereichte Klage, dass sein Chatbot Krisen-Hotlines teilt und Nutzer an reale Ressourcen verweist. Sie wiesen jedoch auch auf einige Mängel im System hin. „Während diese Schutzmaßnahmen bei gewöhnlichen, kurzen Austauschen am besten funktionieren, haben wir im Laufe der Zeit gelernt, dass sie bei langen Interaktionen, bei denen Teile des Sicherheitstrainings des Modells beeinträchtigt werden können, manchmal weniger zuverlässig werden können“, erklärte das Unternehmen.

In seinem Beitrag, in dem die bevorstehende Einführung der Kindersicherungen angekündigt wurde, teilte OpenAI auch Pläne mit, sensible Anfragen an ein Modell ihres Chatbots weiterzuleiten, das länger überlegt und den Kontext prüft, bevor es auf Eingabeaufforderungen antwortet.

OpenAI hat angekündigt, seine Fortschritte in den nächsten 120 Tagen weiterhin zu teilen und arbeitet mit einer Gruppe von Experten zusammen, die sich auf Jugendentwicklung, psychische Gesundheit und Mensch-Computer-Interaktion spezialisiert haben, um die Art und Weise, wie KI in Notzeiten reagieren kann, besser zu informieren und zu gestalten.

Wenn Sie oder jemand, den Sie kennen, eine psychische Krise erlebt oder Suizidgedanken hat, rufen Sie 988 an oder senden Sie eine SMS. In Notfällen rufen Sie 911 an oder suchen Sie Hilfe bei einem örtlichen Krankenhaus oder einem Anbieter psychischer Gesundheitsdienste.