|
18.08.2026
12:00 Uhr
|
Das Startup QED Science nutzt KI, um wissenschaftlichen Arbeiten schneller zu bewerten. Doch das Verfahren selbst wirft Fragen nach Transparenz und Bias auf.
Der Begriff „One Percenter“ beschreibt gewöhnlich die vermögendsten Menschen eines Landes, die obersten ein Prozent. Inzwischen können sich aber auch Wissenschaftler mit dem Prädikat schmücken: Das israelische Startup QED Science entwickelt ein Verfahren, um wissenschaftliche Arbeiten auf Originalität und Richtigkeit hin zu überprüfen. Vor kurzem hat es medienwirksam die besten Arbeiten aus dem Bereich Bio- und Lebenswissenschaften aus den vergangenen zwölf Monaten gekürt – besagte „The 1 Percent“. Und damit eine Debatte um wissenschaftliche Gutachten entfacht, beziehungsweise: neu entfacht.
Wissenschaftliche Gutachten, englisch Peer Reviews, sind eine zentrale Säule des Wissenschaftsbetriebs. Wer eine Studie oder einen Fachaufsatz veröffentlicht, kann diese zunächst der Öffentlichkeit als sogenanntes Preprint zur Verfügung stellen. Dafür gibt es verschiedene, teils auf Fachbereiche spezialisierte, Plattformen. Damit die Arbeit aber auch in einer renommierten Fachzeitschrift wie Nature erscheint, was sich viele Forschende erhoffen, muss sie von unabhängigen Experten geprüft werden. Sie muss ein Peer-Review-Verfahren unterlaufen, in dem geprüft wird, ob fundiert und sauber gearbeitet wurde und ob die Arbeit hält, was sie verspricht.
Dieser Prozess in der Wissenschaft ist wichtig, gerät aber immer mehr an seine Grenzen. Zum einen wächst das Publikationsvolumen schneller als das Angebot an verfügbaren Prüfern, die für ihre Arbeit aus Gründen nicht entlohnt werden. Teilweise dauert es Jahre, bis eine Studie das Verfahren durchlaufen hat, womöglich sind die Ergebnisse dann schon wieder überholt. Zum anderen ist das System, wie jedes andere, bei dem Menschen über andere Menschen urteilen, nicht komplett frei von Bias, Interessenkonflikten und teils Missgunst.
Seit dem Aufstieg der großen Sprachmodelle gibt es Überlegungen, das Peer-Review-Verfahren zumindest teilweise zu automatisieren und Studien und Aufsätze mithilfe künstlicher Intelligenz zu analysieren. Genau darauf hat sich QED Science spezialisiert. Das Unternehmen aus Tel Aviv hat eine selbsternannte Science Validity Engine entwickelt, um wissenschaftliche Arbeiten zu überprüfen und mit einem QED Score zu versehen. Universitäten und Unternehmen können das Tool nutzen, um etwa Studien vor der Veröffentlichung zu überprüfen.
Jede Arbeit wird vor der Bewertung anonymisiert und anschließend von mehreren, auf unterschiedliche Aspekte hin trainierten KI-Agenten analysiert. Dazu wird das Paper in einzelne Komponenten unterteilt, um am Ende mutmaßlich zu beantworten, ob die Hauptaussagen legitim sind, die Hypothesen stimmen und die Methodik nachvollziehbar ist. Ein Agent sucht dabei nach Unstimmigkeiten in den Abbildungen, ein anderer untersucht Widersprüche zur bestehenden Literatur, ein weiterer prüft die statistischen Ergebnisse.
Die Ergebnisse aller Agenten werden abschließend noch einmal gesammelt von einer KI verifiziert, bevor sie eine Rohpunktzahl für Originalität (wie innovativ sind Methodologie und Anwendung) und Validität (wie akkurat sind die Verfahren und Berechnungen) verteilt. Anschließend findet noch eine Gewichtung statt und der QED Score springt heraus, der als Perzentilrang im Vergleich zum Referenzkorpus ausgedrückt wird: Ein QED Score von 80 bedeutet, dass die Arbeit besser als 80 Prozent der anderen verglichenen Arbeiten abschneidet.
Für The 1 Percent hat QED Science sein System mit 57.455 Preprint-Papern der auf Lebenswissenschaften spezialisierten Plattform bioRxiv getestet, die zwischen Mai 2025 und April 2026 veröffentlicht wurden. Am Ende erreichten 574 Arbeiten das 99. Perzentil und können sich somit zu den mutmaßlich obersten ein Prozent zählen. Zum Vergleich hat das Unternehmen in eigenen Studien die von der KI ermittelten Scores mit Bewertungen von menschlichen Gutachtern und anderen Benchmarks verglichen um zu sehen, ob man zu ähnlichen Einschätzungen kommt.
Die Kritik ließ nicht lange auf sich warten. Sie lautet erstens, dass dadurch Wissenschaft auf einen einzelnen Score reduziert wird und der QED Score den Anschein erweckt, dass Arbeiten mit einer Punktzahl von 90 oder 80 weniger gut sind als die obersten ein Prozent. Dabei sei der Fokus auf Prestige und individuelle Metriken schon jetzt ein Problem im Wissenschaftsbetrieb.
„Das Ziel bestand darin, wissenschaftliche Arbeiten allein anhand der Arbeit zu beurteilen, nicht anhand der Zeitschrift oder des Ansehens der Autoren“, antwortet Niv Mastboim, Mitgründer von QED Science im Gespräch mit Nature. Auch wer nicht in den obersten ein Prozent lande, könne trotzdem großartige Forschung betreiben. Außerdem könne man somit gute Studien finden, die möglicherweise nicht die Aufmerksamkeit bekommen haben, die sie verdient hätten.
Eine zweite Kritik betrifft die Methodik von QED Science. Einige Forscher äußern Zweifel daran, ob eine KI überhaupt in der Lage ist, die Qualität wissenschaftlicher Forschung zuverlässig und transparent zu beurteilen. „Das Unternehmen beschreibt eine Multi-Agent-KI-Architektur, doch die tatsächliche Implementierung steht weder zur Einsicht noch zur Nachbildung oder Kritik zur Verfügung“, schreibt der Medizinprofessor Ran Blekhman von der Universität Chicago in einem Blogbeitrag. Der Algorithmus, die Prompts und Gewichtungen seien nicht öffentlich genug, um den Score unabhängig nachzuvollziehen – ein bekanntes Problem beim Einsatz großer Sprachmodelle.
Ähnlich sieht das der Biowissenschaftler Sina Booeshaghi von der Universität Kalifornien. Er kritisiert, dass die eigenen Vergleichsstudien von QED Science unzulänglich seien, da das Unternehmen den QED Score mit Fachzeitschriften-Ranking vergleicht, aber gleichzeitig behauptet, dass dieses Ranking nicht gut genug sei. Und auch das Versprechen, durch die Anonymisierung der Studien den menschlichen Bias aus der Gleichung zu nehmen, lasse sich nicht einhalten: Ein genauer Blick auf The 1 Prozent zeige, dass es auch hier einen strukturellen Bias gebe, etwa was die Verteilung nach Regionen angeht.
Trotzdem sehen zahlreiche Forscher in der Unterstützung von KI einen Ausweg aus der Peer-Review-Krise – wenn sie die menschlichen Gutachter ergänzt und nicht komplett ersetzt: Ansätze wie die von QED Science können zeitaufwendige Aufgaben übernehmen und Experten entlasten – doch die Verantwortung und finale Bewertung sollte weiterhin beim Menschen liegen.
Dieser Beitrag ist zuerst auf t3n.de erschienen.
(jle)