AI-Texte mit gutem Stil – aber ohne Genauigkeit

(SeaPRwire) –   Zuerst kamen die Studenten, die Hilfe bei ihren Hausaufgaben und Aufsätzen wollten. Jetzt lockt ChatGPT auch Wissenschaftler, die unter Druck stehen, Papiere in renommierten wissenschaftlichen Zeitschriften zu veröffentlichen.

KI verändert bereits die veraltete Welt des wissenschaftlichen Publizierens. Wenn Melissa Kacena, Vizevorsitzende der Orthopädie an der Indiana University School of Medicine, Artikel überprüft, die für die Veröffentlichung in Zeitschriften eingereicht werden, weiß sie nun darauf zu achten, ob einer davon möglicherweise von dem KI-Programm ChatGPT verfasst wurde. “Ich habe jetzt die Faustregel, dass ich den Artikel ablehne, wenn bei mehr als einem von zehn zufällig herausgesuchten Literaturverweisen die Angaben nicht stimmen”, sagt sie.

Trotz der Tücken gibt es auch vielversprechende Aspekte. So eignet sich das Verfassen von Übersichtsartikeln gut für KI: Es geht darum, die bestehende Forschung zu einem Thema durchzuarbeiten, die Ergebnisse zu analysieren, zu einem Schluss über den Stand der Wissenschaft zu diesem Thema zu kommen und neue Erkenntnisse einzubringen. ChatGPT kann all diese Aufgaben gut bewältigen.

Kacena beschloss, herauszufinden, wer besser Übersichtsartikel schreibt: Menschen oder ChatGPT. Für ihre Studie teilte sie neun Studenten und das KI-Programm in drei Gruppen ein und gab jeder Gruppe ein anderes Thema vor. Für die eine Gruppe bat sie die Studenten, Übersichtsartikel zu den Themen zu verfassen; für eine andere Gruppe wies sie ChatGPT an, über dieselben Themen Artikel zu schreiben; und für die letzte Gruppe gab sie jedem Studenten einen eigenen ChatGPT-Account und bat sie, zusammen mit dem KI-Programm Artikel zu schreiben. So konnte sie Artikel vergleichen, die von Menschen, von KI und in Zusammenarbeit von Menschen und KI verfasst wurden. Sie bat Kollegen aus der Fakultät und die Studenten, jeden Artikel auf Richtigkeit zu überprüfen, und verglich die drei Arten von Artikeln anhand von Maßstäben wie Genauigkeit, Lesbarkeit und angemessener Sprachverwendung.

Die Ergebnisse waren aufschlussreich. Die von ChatGPT verfassten Artikel waren leicht lesbar und sogar besser geschrieben als die der Studenten. Aber bis zu 70 Prozent der zitierten Literaturverweise waren ungenau: Sie wurden entweder widersprüchlich aus mehreren verschiedenen Studien zusammengefügt oder völlig erfunden. Die KI-Versionen neigten auch eher zu Plagiaten.

“ChatGPT war mit einigen der fingierten Aussagen ehrlich gesagt ziemlich überzeugend”, sagt Kacena. “Es verwendete die richtige Syntax und integrierte sie mit korrekten Aussagen in einem Absatz, so dass manchmal keine Alarmglocken läuteten. Erst weil die Fakultätsmitglieder ein gutes Verständnis für die Daten hatten oder weil die Studenten alles überprüft haben, wurden sie entdeckt.”

Es gab auch einige Vorteile bei den KI-generierten Artikeln. Der Algorithmus war schneller und effizienter bei der Verarbeitung aller erforderlichen Daten und im Allgemeinen verwendete ChatGPT eine bessere Grammatik als die Studenten. Aber es konnte nicht immer die Stimmung im Raum lesen: KI neigte dazu, eine blumigere Sprache zu verwenden, die nicht immer für wissenschaftliche Zeitschriften geeignet war (es sei denn, die Studenten hatten ChatGPT angewiesen, aus der Perspektive eines Graduiertenstudenten der Naturwissenschaften zu schreiben.)

Das spiegelt eine Wahrheit über den Einsatz von KI wider: Sie ist nur so gut wie die Informationen, die sie erhält. Obwohl ChatGPT noch nicht ganz bereit ist, wissenschaftliche Zeitschriftenartikel zu verfassen, könnte es mit der richtigen Programmierung und Schulung ein nützliches Werkzeug für Forscher werden. “Derzeit funktioniert es allein nicht so gut, aber es kann sinnvoll eingesetzt werden”, sagt Kacena. Zum Beispiel war der Algorithmus gut darin, Möglichkeiten zur Zusammenfassung von Daten in Grafiken und grafischen Darstellungen vorzuschlagen, wenn er danach gefragt wurde. “Der Rat, den es zu diesen Themen gab, war genau richtig und genau das, was ich auch gemacht hätte”, sagt sie.

Je mehr Feedback die Studenten für die Arbeit von ChatGPT gaben, desto besser lernte es – und das stellt seine größte Chance dar. In der Studie stellten einige Studenten fest, dass ChatGPT bessere Ergebnisse lieferte, wenn sie zusammen mit dem Programm den Artikel schrieben und es sagten, was es richtig machte und was weniger hilfreich war. Das bedeutet, dass Probleme wie fragwürdige Literaturverweise und Plagiate potenziell behoben werden könnten. ChatGPT könnte beispielsweise so programmiert werden, dass es Literaturverweise nicht zusammenführt und jede wissenschaftliche Zeitschriftenveröffentlichung als eigenen Literaturverweis behandelt, und das Kopieren aufeinanderfolgender Wörter begrenzt, um Plagiate zu vermeiden.

Mit mehr Input und einigen Korrekturen glaubt Kacena, dass KI Forschern beim Schreibprozess helfen und sogar wissenschaftliche Erkenntnisse gewinnen könnte. “Ich denke, ChatGPT ist gekommen, um zu bleiben, und herauszufinden, wie man es verbessern und wie man es auf ethische, gewissenhafte und wissenschaftlich fundierte Weise einsetzen kann, wird sehr wichtig sein”, sagt sie.