Am 14. Juni fand in Freiburg das 3. Methodenforum der Cochrane Deutschland Stiftung statt, diesmal zum Thema „Chancen, Grenzen und Risiken der Künstlichen Intelligenz (KI) bei Evidenzsynthesen im Gesundheitswesen“. Das Forum beleuchtete die wachsende Bedeutung von KI, Automatisierung und Sprachverarbeitung in der Erstellung von systematischen Reviews und anderen Formen der Evidenzsynthese.
Konkret befasste sich die wegen zahlreicher internationaler Vortragender und Gäste auf Englisch abgehaltene Veranstaltung unter anderem mit den Fortschritten in der Entwicklung von Large-Language-Modellen (LLMs) wie ChatGPT und Claude sowie von speziellen Automatisierungstools wie ASReview, Laser AI und DistillerSR. Diese Werkzeuge bieten völlig neue Möglichkeiten für die Entwicklung von Suchstrategien, das Screening und die Datenextraktion sowie die Bias-Bewertung und damit die Chance, zentrale Aufgaben in der Erstellung und Aktualisierung von Evidenzsynthesen erheblich zu vereinfachen und zu beschleunigen.
Die zehn Vorträge, deren Themen sich grob an den wichtigsten Schritten einer Evidenzsynthese orientierten, zeigten, wie beeindruckend weit viele dieser KI-Anwendungen bereits sind. Es wurde aber auch klar, dass wir von der „Evidenzsynthese auf Knopfdruck“ noch weit entfernt sind. Zuvor müssen noch viele Fragen geklärt werden. So braucht es eine systematische Validierung der Ergebnisse von KI-Anwendungen und klare Maßstäbe, an denen man ihre Leistung messen kann. Das wiederum ist gerade für LLMs schwierig, die als „Black Box“ oft recht unterschiedliche Ergebnisse für die gleiche Aufgabe liefern und somit das wissenschaftliche Prinzip der Reproduzierbarkeit nur schwer erfüllen können.
Um mit KI-Hilfe qualitativ hochwertige Evidenzsynthesen zu erstellen, ist es also entscheidend, die Möglichkeiten und Grenzen der Sprachmodelle und Automatisierungstools zu kennen und zu lernen, diese mit traditionellen Methoden zu kombinieren. Das Forum bot den knapp 100 Besucher*innen eine Plattform für Austausch und Diskussion über diese Fragen.
Das Programm des 3. Methodenforum der Cochrane Deutschland Stiftung und weitere Informationen finden Sie hier. Eine ausführliche Übersicht über die im Forum diskutierten Themen soll demnächst als Fachpublikation eingereicht werden.