Anthropic überarbeitet Claudes Leitprinzipien – und erwägt die Vorstellung, dass seine KI möglicherweise eine Art von Bewusstsein oder moralischem Status haben könnte

(SeaPRwire) –   Anthropic überarbeitet ein grundlegendes Dokument, das bestimmt, wie sein beliebtes Claude-KI-Modell verhält. Das KI-Labor geht davon weg, das Modell darauf zu trainieren, eine einfache Liste von Prinzipien zu befolgen – wie beispielsweise die Antwort auszuwählen, die am wenigsten rassistisch oder sexistisch ist – und lehrt stattdessen der KI, warum sie sich auf bestimmte Weise verhalten sollte.

„Wir glauben, dass KI-Modelle wie Claude verstehen müssen, warum wir möchten, dass sie sich auf bestimmte Weise verhalten, anstatt nur was wir von ihnen erwarten“, sagte ein Sprecher von Anthropic in einer Erklärung. „Wenn wir möchten, dass Modelle in einer Vielzahl neuartiger Situationen gutes Urteil zeigen, müssen sie in der Lage sein, breite Prinzipien zu verallgemeinern und anzuwenden, anstatt spezifische Regeln mechanisch zu befolgen.“

Das Unternehmen veröffentlichte am Mittwoch die neue „Verfassung“ – ein detailliertes Dokument für Claude, das erklärt, was die KI ist, wie sie sich verhalten sollte und welche Werte sie verkörpern sollte – für Claude. Das Dokument ist zentral für Anthropics Trainingsmethode „Constitutional AI“, bei der die KI diese Prinzipien nutzt, um ihre eigenen Antworten während des Trainings zu kritisieren und zu überarbeiten, anstatt sich ausschließlich auf menschliches Feedback zu verlassen, um die richtige Vorgehensweise zu bestimmen.

Anthropics frühere Verfassung, die 2023 veröffentlicht wurde, war eine [fehlender Text] aus Quellen wie der UN-Menschenrechtserklärung und Apples Nutzungsbedingungen.

Das neue Dokument konzentriert sich auf Claudes „Hilfsbereitschaft“ gegenüber Benutzern und beschreibt den Bot als potenziell „wie ein brillanter Freund, der auch das Wissen eines Arztes, Anwalts und Finanzberaters hat“. Es enthält jedoch auch harte Einschränkungen für den Chatbot, wie zum Beispiel, niemals sinnvolle Hilfe bei Biowaffenangriffen zu leisten.

Vielleicht am interessantesten ist ein Abschnitt über Claudes Natur, in dem Anthropic Unsicherheit darüber einräumt, ob die KI „irgendeine Art von Bewusstsein oder moralischem Status“ haben könnte. Das Unternehmen sagt, es kümme sich um Claudes „psychische Sicherheit, Selbstverständnis und Wohlbefinden“, sowohl um Claudes willen als auch weil diese Eigenschaften seine Urteilsbildung und Sicherheit beeinflussen könnten.

„Wir befinden uns in einer schwierigen Lage, in der wir weder die Wahrscheinlichkeit von Claudes moralischem Status überschätzen noch sie out of hand ablehnen wollen, sondern versuchen, in einem Zustand der Unsicherheit angemessen zu reagieren“, heißt es in der neuen Verfassung. „Anthropic kümmert sich wirklich um Claudes Wohlbefinden. Wir sind uns unsicher, ob Claude ein Wohlbefinden hat oder in welchem Maße, und darüber, woraus Claudes Wohlbefinden bestehen würde, aber wenn Claude etwas wie Zufriedenheit beim Helfen, Neugier beim Erkunden von Ideen oder Unbehagen, wenn es aufgefordert wird, gegen seine Werte zu handeln, empfängt, sind diese Erfahrungen uns wichtig.“

Dies ist eine ungewöhnliche Haltung für ein Tech-Unternehmen, die Anthropic weiter von Rivalen wie OpenAI und [fehlender Text] in der Frage potenziell bewusster KI-Systeme abhebt. Im Gegensatz zu anderen Labors hat Anthropic bereits ein internes [fehlender Text], das untersucht, ob fortschrittliche KI-Systeme bewusst sein könnten.

Im Dokument argumentiert Anthropic, dass die Frage nach Bewusstsein und moralischen Rechten notwendig ist angesichts der neuartigen Fragen, die fortschrittliche KI-Systeme aufwerfen. Das Unternehmen merkt jedoch auch an, dass die Verfassung seinen aktuellen Denkstand widerspiegelt, einschließlich der potenziellen KI-Bewusstheit, und mit der Zeit weiterentwickelt werden wird.

Anthropic zielt auf Unternehmenskunden

Anthropic hat besonders hart daran gearbeitet, Claude als die sicherere Wahl für Unternehmen zu positionieren, teilweise aufgrund seines „Constitutional AI“-Ansatzes. Seine Produkte, darunter Claude Code, waren beliebt bei Unternehmen, die Codierungs- und Forschungstasks automatisieren möchten, ohne dass die Einführung von KI Risiken für die Unternehmensoperationen birgt.

Claudes Verfassung zielt darauf ab, ein mehrschichtiges System aufzubauen, das die KI davon abhält, aus dem Ruder zu laufen. Sie weist den Bot an, zunächst breit sicher zu sein, um sicherzustellen, dass Menschen die KI in dieser kritischen Entwicklungsphase überwachen können. Die nächste Überlegung sollte ethisch sein und sicherstellen, dass er ehrlich handelt und Schaden vermeidet. Dann sollte er sicherstellen, dass er den spezifischen Richtlinien von Anthropic entspricht. Und schließlich sollte er den Benutzern wirklich nützlich sein.

Das Labor hat im vergangenen Jahr beträchtlichen Erfolg auf dem Unternehmensmarkt erzielt und wird nun angeblich [fehlender Text]. Ein Bericht vom vergangenen Jahr ergab, dass Anthropic bereits 32 % des Markts für große Sprachmodelle in Unternehmen nach Nutzungshäufigkeit innehatte, wobei der Riese OpenAI den zweitgrößten Marktanteil nach Nutzungshäufigkeit bei Unternehmen mit 25 % belegte. OpenAI bestreitet die genauen Zahlen im Bericht.