In den letzten Wochen schlug ein öffentlich ausgetragener Streit um die Berichterstattung der BILD-Zeitung über eine Studie zu COVID-19 hohe Wellen. Dabei ging es um eine bereits Ende April in Form eines sogenannten Preprints veröffentlichte Studie eines Forscherteams um den Berliner Virologen Christian Drosten über die Viruslast verschiedener Altersgruppen bei COVID-19. Die BILD stellt die Ergebnisse und Schlussfolgerungen als „grob falsch“ dar, wurde anschließend aber ihrerseits von einer breiten Front von Wissenschaftlern und Qualitätsmedien für ihre Vorgehensweise scharf kritisiert.

Diesen Streit auf wissenschaftlicher Ebene im Detail darzustellen und zu kommentieren, ist hier nicht unser Ziel. Vielmehr dient uns der Fall als Anlass, auf ein grundlegendes Problem hinzuweisen, das sich aus der in COVID-19-Zeiten verstärkten Praxis ergibt, wissenschaftliche Publikationen noch vor einer regulären Begutachtung durch Fachkollegen (das sogenannte Peer Review) als „Preprint“ zu veröffentlichen. Dieser Ansatz ist deutlich älter als COVID-19. Die Idee dahinter: Durch die Veröffentlichung von Preprints wird die Geschwindigkeit erhöht, mit der Forschungsergebnisse der wissenschaftlichen Welt zugänglich gemacht und verbreitet werden. Gleichzeitig ermöglichen Preprints kritisches Feedback von anderen Forschungsgruppen zum Entwurf der Studie, ehe diese den formalen Begutachtungsprozess einer Fachzeitschrift durchläuft, der mitunter einige Monate dauern kann. Dadurch werden Ergebnisse nicht nur schneller zugänglich; möglicherweise lassen sich damit auch einige der immer wieder kritisierten Probleme des klassischen Peer-Review-Verfahrens (etwa Interessenkonflikte bei Peer Reviewern) umgehen und größere Transparenz innerhalb der wissenschaftlichen Community herstellen. Im Idealfall steht am Ende eine finale Publikation in einer Fachzeitschrift, die durch Diskussion und Anpassung durch die Autoren in der vorgeschalteten Preprint-Phase bestmöglich Studienergebnisse berichtet und somit verlässliche Evidenz zur untersuchten Fragestellung liefert.

In manchen Wissenschaftsdisziplinen wie der Physik ist das Veröffentlichen von Preprints schon länger ein gängiger Teil der Publikationskultur, aber auch in manchen Lebenswissenschaften waren sie schon vor COVID-19 durchaus üblich. Die Pandemie hat jedoch zu einer wahren Flut von Preprint-Publikationen geführt, weil auf diese Weise Studienergebnisse, die für die Eindämmung der Pandemie wichtig sein könnten, schneller bekannt gemacht werden können. Die Schattenseite davon ist, dass Ergebnisse und Schlussfolgerungen aus Preprints stets nur einen vorläufigen Charakter haben, weil ihnen die sonst übliche Qualitätskontrolle durch Peer Review fehlt. Dadurch können sich auf Preprint-Servern gegebenenfalls auch Studien mit gravierenden Mängeln in der Methodik oder Interpretation finden, die in einer Fachzeitschrift mit qualitätssichernden Maßnahmen wie Peer Review so nicht zur Veröffentlichung kämen.

All diese Vor- und Nachteile von Preprint-Publikationen sind unter Forschern, aber auch unter guten Wissenschaftsjournalisten durchaus bekannt. Problematisch wird es, wenn Preprint-Ergebnisse wie nun geschehen ohne die passende Einordnung in einem frühen Stadium der Diskussion die Aufmerksamkeit der breiten Öffentlichkeit erhalten.

„In der Tat sehen wir zur Zeit aus aller Welt eine große Anzahl von Studien zu COVID-19 mit teils erheblichen methodischen Limitationen, beispielsweise ohne  Vergleichsgruppen oder mit sehr geringen Teilnehmerzahlen, die auf die Schnelle als Preprint ohne Peer Review veröffentlicht werden. Solche Studien werden dann gelegentlich in sozialen und sonstigen Medien, teils auch durch Wissenschaftler selbst, als wichtige wissenschaftliche Ergebnisse dargestellt, die Entscheidungen in der Gesundheitsversorgung einzelner Patienten oder auch politische Entscheidungen auf Systemebene begründen sollen. Dies ist äußerst problematisch, da die Berichterstattung oft die Unsicherheit nicht ausreichend berücksichtigt, die wir in Bezug auf viele Fragen im Zusammenhang mit COVID-19 leider noch immer haben“, sagt Jörg Meerpohl, Direktor von Cochrane Deutschland und Direktor des Instituts für Evidenz in der Medizin am Universitätsklinikum Freiburg. Gleichzeitig seien eventuelle Schwächen und die fachliche Diskussion darum Teil des „Prinzips Preprint“ und dürften nicht als Anlass missbraucht werden, einzelne Forscher öffentlich zu diffamieren.

Meerpohl ruft deshalb dazu auf, die bisherige Forschung zu COVID-19 sorgfältiger zu betrachten. „Entscheidend ist, dass die unvermeidlichen Limitationen gerade solcher Preprint-Publikationen in der Diskussion berücksichtigt und die Ergebnisse entsprechend vorsichtig interpretiert werden. Die Evidenz zu COVID-19 ist zurzeit noch lückenhaft, vorläufig und teils methodisch schwach. Doch auch wenn sich dies dringend ändern muss, so ist sie momentan eben doch noch die beste Evidenz, die wir haben.“ Für die kritische Einordnung und Sortierung der Flut von Studienergebnissen seien Evidenzsynthesen in Form von systematischen Reviews, wie sie Cochrane und andere zurzeit mit Hochdruck erstellen, besonders wichtig.

Meerpohl zufolge spreche all dies nicht prinzipiell gegen die Nutzung von Preprint-Servern. „Aber wir alle - Wissenschaftler, Medien, Öffentlichkeit, Politik - müssen lernen, mit dieser neuen Form der Vorab-Veröffentlichung von Ergebnissen angemessen umzugehen.“ Dazu gehört auch, dass Wissenschafts- und Medizinjournalisten den Wissenschafts- und Publikationsprozess kennen und durchschauen und in der Lage sind, Studienergebnisse richtig einzuordnen, um die Öffentlichkeit nicht durch fragwürdige Informationen und Deutungen zu verunsichern.

In der notwendigen Debatte um Preprints sollte allerdings auch nicht der Eindruck entstehen, als sei eine reguläre Veröffentlichung mit Peer Review in einem angesehenen Fachjournal eine absolute Garantie für vertrauenswürdige Forschungsergebnisse. Das belegt der aktuelle Fall von zwei Studien zur Behandlung von COVID-19, die vergangene Woche von „The Lancet“ und dem „New England Journal of Medicine“ zurückgezogen wurden. Grund waren erst nach der Publikation aufgekommene erhebliche Zweifel an der Seriosität der Rohdaten, welche von einer in Chicago ansässigen Firma namens Surgisphere erhoben worden waren.

„Es ist in der Tat sehr ernüchternd, dass diese Unstimmigkeiten weder im Peer Review, noch im editoriellen Prozess der Journale aufgefallen sind. Gerade bei so hochrangigen Zeitschriften sollte so etwas nicht vorkommen“, kommentiert Jörg Meerpohl. „Für die Wahrnehmung der Qualität und Vertrauenswürdigkeit der Wissenschaft in der Öffentlichkeit ist so etwas natürlich fatal.“ Der Prozess des Peer Reviews sei zwar höchst sinnvoll, bedürfe aber dringend grundlegender Verbesserungen.

Hinweis: Das Science Media Center Deutschland bat vergangene Woche Jörg Meerpohl und weitere Experten um ihre Einschätzung zum Fall der beiden zurückgezogenen Studien. Die kompletten Stellungnahmen finden Sie hier.