Behandlungen vergleichen: Wie systematische Übersichtsarbeiten helfen

Eine Studie zeigt … vielleicht morgen schon genau das Gegenteil der Studie von gestern? Wie soll man sich denn jetzt einen Reim darauf machen? Hier helfen systematische Übersichtsarbeiten.

Vielleicht kennst du das: Du versuchst, dir ein Bild davon zu machen, ob eine Behandlungsmethode oder ein Nahrungsergänzungsmittel tatsächlich etwas taugt oder nicht. Aber je mehr du dazu liest, desto verwirrter wirst du. Webseiten kommen zu genau entgegengesetzten Empfehlungen – und jede zitiert Studien, die die jeweilige Position untermauern sollen. Was stimmt denn jetzt wirklich?

An dieser Stelle gibt es eine gute und eine schlechte Nachricht. Für die schlechte musst du ganz stark sein: Selbst wenn Studien zu sehr ähnlichen Fragestellungen ordentlich gemacht sind, können sie zu sehr unterschiedlichen Ergebnissen kommen. Die gute Nachricht: Die Wissenschaft kennt ein Instrument, um diese wirre Studienflut zu beherrschen – systematische Übersichtsarbeiten. Und ehrlich gesagt gibt es auch noch eine dritte, mittelschlechte Nachricht: Auch hier muss man genau hingucken.

Das Wichtigste in Kürze

Ordentlich gemachte systematische Übersichtsarbeiten enthalten eine verlässliche Zusammenfassung des besten verfügbaren Wissens zu einer bestimmten Fragestellung. Deshalb stützen sich zum Beispiel gute Gesundheitsinformationen auf solche Übersichtsarbeiten. In einem zukünftigen Artikel in unserer Rubrik „Gesundheitsinfos finden“ zeigen wir dir auch, wo du selbst systematische Übersichtsarbeiten finden kannst.

Unterschiede, Unterschiede, Unterschiede …

Warum kommen eigentlich Studien mit ähnlicher Fragestellung zu unterschiedlichen Ergebnissen? Dafür gibt es zwei grundsätzliche Erklärungen:

Es kommt so gut wie nie vor, dass Studien tatsächlich ganz identisch angelegt sind. In der Regel gibt es zumindest kleinere Abweichungen. Das kann eine Reihe von Faktoren betreffen, zum Beispiel:

• die genauen Kriterien, nach denen die Studienteilnehmer*innen ausgesucht werden
• die Dosierung des untersuchten Mittels – das kommt allerdings besonders häufig bei Studien zu Vitaminen, Mineralstoffen und Co. vor, weniger bei zugelassenen Arzneimitteln
• wie die Ergebnisse der Studie erhoben werden, also zum Beispiel welcher Fragebogen oder welche Messinstrumente genutzt werden

… und Statistik

Aber selbst wenn diese Faktoren tatsächlich identisch sind, schlägt immer noch der Zufall zu. Das hängt damit zusammen, dass Studien – jetzt mal im Statistikerjargon gesprochen – immer nur eine Stichprobe untersuchen.

Was heißt das jetzt genau? Nehmen wir einmal an, wir interessieren uns dafür, wie gut ein bestimmtes Medikament Kopfschmerzen lindert. Dann kann man das Mittel aus praktischen Gründen nicht an allen Menschen mit Kopfschmerzen auf der ganzen Welt testen und so herausbekommen, was der „wahre Effekt“ des Kopfschmerzmittels ist. Randomisierte kontrollierte Studien zu Behandlungsmethoden haben in der Regel nur einige hundert bis einige tausend Teilnehmer*innen, was natürlich sehr viel weniger ist als alle Menschen mit der betreffenden Erkrankung. Wir wollen aber trotzdem etwas über den wahren Effekt wissen. Mithilfe von statistischen Methoden ist es dann möglich, aus dem Ergebnis unserer Studie (also der „Stichprobe“) Schlussfolgerungen über den wahren Effekt zu ziehen (immer mit bestimmten Einschränkungen und Unschärfen, aber das besprechen wir ein anderes Mal).

Wenn die Studie jetzt mit anderen Teilnehmer*innen wiederholt wird, also mit einer anderen Stichprobe, gibt es – bedingt durch zufällige Schwankungen – sehr wahrscheinlich ein etwas anderes Ergebnis als in der ersten Studie. Und in der dritten Studie wird es nochmal etwas anders ausfallen. Im Extremfall kann das auch dazu führen, dass eine Studie zufällig zum Ergebnis „wirksam“ kommt, wenn in Wirklichkeit das Mittel nicht über den Placebo-Effekt hinaus wirkt [1]. Erst in der Zusammenfassung aller verfügbaren Studien lässt sich dann abschätzen, was tatsächlich der wahre Effekt ist.

Mehr Übersicht

Diese Überlegungen machen klar: In der Regel kann eine einzige Studie allein die Wirksamkeit oder Unwirksamkeit einer Behandlung weder belegen noch widerlegen. Deshalb ist es wichtig, alle relevanten Studien gemeinsam zu betrachten [2]. Und das machen systematische Übersichtsarbeiten. Aber was versteht man darunter genau? Das erklärt das Video sehr anschaulich.

Manche Übersichtsarbeiten fassen die Ergebnisse der einzelnen Studien auch rechnerisch zusammen. Das bezeichnet man als Meta-Analyse.

Standards für verlässliche Übersichten

Mal ein Gedankenexperiment: Wenn du die Fakten so drehen wolltest, dass die Welt von deiner Lieblingstherapieform überzeugt wird, wie würdest du das anstellen? Ein guter Weg wäre, eine Übersichtsarbeit zu erstellen – aber nach deinen Regeln. Das heißt zum Beispiel, dass du nur die Studien mit aufnimmst, in denen deine Lieblingstherapie prima abschneidet. Die anderen mit den gegenteiligen Ergebnissen lässt du in der Schublade verschwinden.

Ganz klar: Der Erkenntnis, was wirklich hilft, kommt man so kein Stückchen näher. Deshalb ist es für verlässliche Ergebnisse auch wichtig, dass systematische Übersichtsarbeiten bestimmten Regeln folgen, die willkürlichen und möglicherweise verzerrten Entscheidungen einen Riegel vorschieben. Wie muss man sich das konkret vorstellen? [3]

• Die Kriterien, nach denen Studien ausgesucht und bewertet werden, werden vorab schriftlich festgehalten.
• An der Übersichtsarbeit sind mehrere Wissenschaftler*innen beteiligt, die die kritischen Schritte unabhängig voneinander vollziehen.
• Die Suche nach Studien wird transparent und nachvollziehbar dokumentiert. Das schließt auch möglicherweise unveröffentlichte Studien ein.
• Das Forschungsteam beschreibt die einzelnen Studien ausführlich, so dass die Leser*innen die Bewertungen nachvollziehen können.
• Die Studien werden kritisch bewertet. Dabei prüfen die Wissenschaftler*innen zum Beispiel, ob die Beteiligten nicht wussten, welches Mittel sie bekamen – also ob die Studien verblindet waren und wenn nicht, welchen Einfluss das auf die Ergebnisse haben kann.
• Die Ergebnisse der einzelnen Studien werden statistisch sauber zusammengefasst. Bei Bedarf untersuchen die Wissenschaftler*innen auch, warum Studien zu unterschiedlichen Ergebnissen kommen und welchen Einfluss methodische Mängel haben.
• Das Forschungsteam schaut sich genau an, wie die Ergebnisse durch möglicherweise nicht veröffentlichte Studien oder durch Interessenkonflikte verzerrt sein können.

Wenn sich systematische Übersichtsarbeiten an diese Regeln halten, bieten sie einen verlässlichen Überblick zum besten verfügbaren Wissen zu der jeweiligen Fragestellung.

Ein Blick in die Geschichte

Dass systematische Übersichtsarbeiten heute eine so wichtige Rolle spielen, ist unter anderem auch den Erlebnissen des jungen britischen Arztes Iain Chalmers im Gaza-Streifen in den 1970er Jahren zu verdanken. Er musste zu seinem Entsetzen feststellen, dass die gängige Lehrmeinung zur Behandlung von Kindern mit Masern falsch war – und dass die Medizin es hätte besser wissen können, wäre das damals vorhandene gesicherte Wissen aus verlässlichen Studien nur besser verfügbar gewesen [4]. Diese Erkenntnisse führten zu einer Initiative, aus der sich dann ein internationales Netzwerk entwickelte, das heute eine führende Rolle bei der Erstellung von systematischen Übersichtsarbeiten spielt: Cochrane. Die ganze Geschichte könnt ihr in diesem Podcast anhören.

Nicht für alles eine Antwort

So wertvoll ordentlich gemachte systematische Übersichtsarbeiten auch sind: Natürlich sind sie keine eierlegende Wollmilchsau und können nicht alle Probleme lösen. Wenn es zum Beispiel keine oder nur wenige gut gemachte Studien für eine Frage gibt, kann eine systematische Übersichtsarbeit das zwar konstatieren, aufarbeiten und dazu motivieren, dass es mehr Forschung dazu gibt – aber für dein konkretes Gesundheitsproblem hilft das natürlich in diesem Moment erst mal nicht weiter.

Daneben müssen systematische Übersichtsarbeiten aber auch mit zwei speziellen Problemen kämpfen, die die Verlässlichkeit ihrer Zusammenfassungen bedrohen: unveröffentlichte Studien und neue Studien.

Nicht die ganze Wahrheit

Leider passiert es immer wieder, dass die Ergebnisse von Studien nicht veröffentlicht werden. Die Gründe dafür sind vielfältig: Mal ist es Schlamperei der beteiligten Wissenschaftler*innen, mal sollen die Ergebnisse bewusst verschwiegen werden, weil sie nicht so positiv ausgefallen sind wie gewünscht [5].

Für systematische Übersichtsarbeiten bedeutet das: Trotz aller Bemühungen (siehe oben) kann es sein, dass sich nicht alle durchgeführten Studien finden lassen. Und dann kann es passieren, dass das Ergebnis nichts mit der Wirklichkeit zu tun hat. Dieser so genannte „Publikationsbias“ ist leider kein theoretisches Problem, sondern eins, dass sich schon an vielen Stellen gezeigt hat. Hier nur zwei Beispiele:

Für Antidepressiva hat ein Forschungsteam untersucht, wie sich die Studiendaten unterscheiden, die der Zulassungsbehörde vorlagen bzw. die in Fachzeitschriften veröffentlicht wurden. Das GIF zeigt sehr anschaulich, dass hauptsächlich diejenigen Studien veröffentlicht wurden, die einen positiven Effekt nachwiesen.

Das zweite Beispiel ist ebenfalls ein krasser Fall: Das Grippemittel Tamiflu. Eine systematische Übersichtsarbeit war 2008 zu dem Schluss gekommen, dass das Medikament Komplikationen bei einer Grippe-Infektion verhindern kann. Es stellte sich aber später heraus, dass nur ein kleiner Teil der Studien überhaupt veröffentlicht worden war. Und als eine spätere Übersichtsarbeit dann wirklich alle Untersuchungen zusammenfasste, war auf einmal kein positiver Effekt von Tamiflu mehr zu finden. Die ganze Geschichte könnt ihr in diesem Podcast nachhören:

In den letzten Jahren wurde einiges getan, um die Situation zu verbessern: So müssen viele Arzneimittelstudien inzwischen vor Beginn registriert und ihre Ergebnisse öffentlich zugänglich gemacht werden [6]. Forschungsteams, die verlässliche systematische Übersichtsarbeiten erstellen, durchsuchen deshalb auch die Studienregister und kontaktieren die Autor*innen von unveröffentlichten Studien. Die beschriebenen Regeln gelten aber nicht für alle Studien und auch nicht rückwirkend.

Die Zeit, die Zeit …

Das zweite große Problem ist die Aktualität. Gute systematische Übersichtsarbeiten brauchen einiges an Zeit und es kann leicht zwei Jahre oder länger dauern, bis die Arbeit tatsächlich abgeschlossen ist. In dieser Zeit geht die Forschung aber natürlich weiter und möglicherweise sind dann schon wieder neue Studien erschienen, die noch andere Ergebnisse haben. Um dieses Problem anzugehen, haben Forschungsteams ein Experiment gestartet: “Living systematic reviews”, also “lebende” systematische Übersichtsarbeiten, bei denen in ganz kurzen Zeitabständen geprüft wird, ob neue Studien publiziert wurden und bei Bedarf dann Aktualisierungen der Übersichtsarbeit veröffentlicht werden [7].

Transparenz-Hinweis: Die Autorin ist freie Mitarbeiterin für die Plattform medizin-transparent.at, an der auch Cochrane Österreich beteiligt ist.

Anmerkungen, Quellen und weiterführende Literatur

[1] Das Böhmermann-Video kennt ihr doch alle, oder? ODER?

[2] Warum systematische Übersichtsarbeiten so wichtig sind, erklärt Kapitel 8 von „Wo ist der Beweis?“ (frei zugänglich)

[3] Einen guten Überblick über die Standards von systematischen Übersichtsarbeiten bietet dieser Artikel (auf Deutsch und frei zugänglich) Timmer A u.a. Systematische Übersichtsarbeiten zu Fragen der Therapie und Prävention. Teil 2 – Was macht eine gute Übersichtsarbeit aus? Arzneimitteltherapie 2008; 26:252–255

[4] In diesem Video erzählt Iain Chalmers selbst von seinen Erlebnissen (auf Englisch, aber frei zugänglich)

[5] Mehr zum Thema Publikationsbias kannst du auf dem Cochrane-Blog „Wissen was wirkt“ nachlesen.

[6] Die Initiative AllTrials setzt sich dafür ein, dass alle Studien registriert und alle Ergebnisse veröffentlicht werden. Ihre Webseite dokumentiert Fortschritte. Rückschläge und Kampagnen zu dieser Frage.

[7] Bei „Wissen was wirkt“ gibt es mehr Infos und Links zu “Living systematic reviews”