Insuffizienzen der Wissenschaft » Wenn medizinische Metastudien unscharfes Wissen produzieren – Agnotologie II

Frei nach dem Motto: „Glaube keiner Studie, die Du nicht selbst gefälscht hast“ funktioniert allem Anschein nach gerade die pharmazeutisch-medizinische Forschung. Wobei, halt!: nein, es soll hier nicht der Eindruck erweckt werden, die verschiedenen Studien, die Wirksamkeit und/oder Unbedenklichkeit von Therapien und Medikamenten belegen sollen, seien allesamt manipuliert. Diese Unterstellung gehört in den Bereich der Verschwörungstheorie, mit der die Wissenswerkstatt nichts gemein hat. Aber das sollte auch bislang schon klar geworden sein, oder?

Nochmal im Klartext und in Anlehnung an Bruno Latour: in der Wissenswerkstatt arbeitet ein „Liebhaber der Wissenschaften“ – daß die naturgegebenen Insuffizienzen jeder Suche nach Wahrheit dennoch Thema sind, versteht sich aber von selbst. Denn genau diejenigen, die quasi blind allen technisch-wissenschaftlichen Versprechungen Glauben schenken, sind in Wahrheit Verächter und manchmal sogar Totengräber der Wissenschaft. Denn Wissenschaft will und braucht kritische Rezipienten und Freunde. Es verhält sich kaum anders als in der Sphäre der Politik: wer stets alle Taten des „Freundes“ willfährig bejubelt, ohne substantiell zu prüfen, ob hier nicht möglicherweise Widersprüche und Defizite vorliegen, mag sich zunächst als loyal erweisen. Es geht aber weder in der Politik noch in der Wissenschaft um vorauseilenden Gehorsam und Gefolgschaft um jeden Preis. Es geht vielmehr um kritische Begleitung und genau das ist u.a. die Aufgabe der Wissenschaftssoziologie. Die Wissenschaft selbst, all die Forscher in ihren Labors, all die Arbeiter in ihren sprichwörtlichen Elfenbeintürmen, sie sind notwendigerweise gefangen in ihrer Binnenperspektive.

Aufklärung und die lehrreiche Außenperspektive 

Und genau hier setzt die Wissenschaftssoziologie an: es ist der nüchterne Blick von außerhalb, der anderes sehen läßt, als wenn man immer schon in den Kontexten der jeweiligen Spezialdisziplin sozialisiert und somit auch ein Stück weit befangen, um nicht zu sagen: gefangen ist. Und somit steht die Wissenschaftssoziologie – wenigstens, wie ich sie verstehe – in der Tradition der Aufklärung: ihre Intention ist es, das Wissen der Gesellschaft über ihre technisch-wissenschaftlichen Möglichkeiten und Grenzen zu erweitern. Denn nur wer weiß und besser einschätzen kann, wo derzeit die Grenzen des Wissens liegen, diejenigen Bereiche, in denen nicht klare Sicht auf die Gegenstände des Gewußten und Erforschten gegeben ist, sondern immer wieder der Nebel des Nichtwissens den Blick trübt, nur derjenige, der solchermaßen informiert und geübt die Innovationen von Wissenschaft und Technik in den Blick nimmt, kann nachhaltige Entscheidungen darüber treffen, was mit welchen Risiken getan werden kann.

Denn daß es jeweils kontingente Bereiche gibt, daß also anscheinend gesicherte Wissensbestände wieder ins Schwimmen geraten und sich als unsicher herausstellen, darüber besteht ernsthaft kein Zweifel. Und gerade der Blick in die Medizin und ihre Geschichte ernüchtert allzu hochfliegende Phantasien. Denn kaum eine andere Disziplin zeichnet sich durch solch gravierende Erfahrungen des Erfolgs und des Mißerfolgs aus. Gelingen und Scheitern liegen kaum anderswo ähnlich nah beieinander. Und man braucht hier nicht einmal Schlagworte wie Contergan zu erwähnen – es genügt der Verweis auf die mit immensem Ressourceneinsatz entwickelten Medikamente wie „Vioxx“1 oder „Lipobay“,2 die sich dennoch als finanzielles und – berücksichtigt man die mutmaßlichen Todesopfer – menschliches Desaster erwiesen.

Mehr Forschung = Mehr Unsicherheit? 

Damit aber wieder zurück zum Thema: medizinische (Meta-)Studien. Im Grunde ist es banal: wer seine Erkenntnisse überprüfen will, stellt weitere Untersuchungen und Experimente an, um seine Hypothesen zu testen. In der Medizin, zumal wenn es um bereits ausgereiftere Forschungen geht, stehen also klinische Studien an, um die Wirksamkeit der Therapien näher zu ergründen. Wir reden hier von sog. Phase I+II-Studien,3 die dann idealerweise meist in sog. randomisierte Doppelblind-Studien münden. Diese werden mit einem erheblich erweiterten Probandenkreis durchgeführt und stellen in Phase III die letzte Hürde vor der Marktzulassung dar.

Um das nochmals unmißverständlich klarzumachen: wenn heute ein Medikament den Weg in Apotheken und Kliniken findet, so ist es gründlich und intensiv getestet und überprüft. Hinter den erwähnten „randomisierten Doppelblindstudien“ verbirgt sich ein Studiendesign, das ein Höchstmaß an Aussagekraft ermöglicht, denn „doppelblind“ heißt, daß weder die durchführenden Ärzte noch die beteiligten Patienten wissen, welche Patienten nun das neue zu testende Medikament verabreicht bekommen und welche ein Placebo (alternativ auch die konventionelle Standardtherapie). Randomisiert bedeutet in diesem Kontext, daß die Auswahl, welche Personen welcher Studiengruppe (also der Test- oder der Kontrollgruppe mit Placebo) zugeordnet werden, zufallsgesteuert abläuft. Auch hier kann also keine Verfälschung durch die Studienleitung erfolgen. Erweist sich also ein neuer Wirkstoff in diesen umfänglichen Tests als unbedenklich (die Nebenwirkungen sind gemäß einer Kosten-Nutzen-Rechnung zu vernachlässigen) und gleichzeitig als wirksam (und den bisherigen Therapien überlegen), so steht der Marktzulassung nichts mehr im Wege. Wo ist das Problem, möchte man fragen…

Scheitern als Wesen der Wissenschaft

Strenggenommen gibt es kein Problem, jedenfalls nicht, wenn man sich bewußt macht, daß auch noch so aufwendige Studiendesigns niemals eine Garantie liefern können, daß ein Medikament genauso wirkt, wie beabsichtigt und nicht ganz andere Effekte hervorruft, die dummerweise nie in den Studien auftraten. Wer glaubt, die medizinisch-pharmazeutische Forschung sei in der Lage alle Parameter zu berücksichtigen, der irrt. Dazu ist der menschliche Körper, seine unendlichen Kaskaden an Stoffwechsel- und Austauschprozessen, seine Regulationsvielfalt und Irritationsanfälligkeit zu undurchschaubar und bislang nur recht wenig verstanden. Wie oben erwähnt: der Pharmariese Merck mußte im Jahr 2004 sein umsatzstärkstes Medikament, das Schmerz- und Rheumamittel „Vioxx“ nach Berichten über eine Vielzahl von Herzinfarkten und Schlaganfällen vom Markt nehmen. Und diese erst spät erkannten Nebenfolgen waren nicht Ergebnis von Schlamperei und Leichtfertigkeit, sondern unvermeidlich.

Was ist aber, wenn es sich nicht um medizinische Indikationen wie bspw. Rheuma geht, die immerhin einigermaßen scharf umrissen und definiert sind? Wie verhält es sich bei medikamentösen Therapieversuchen bei so schwach konturierten Symptomatiken wie geschwächter Immunabwehr, Wechseljahrsbeschwerden oder Erkältungskrankheiten? Welche Medikamente haben hier welche Effekte? Man erinnere sich: Ende der 90er Jahre wurde die Hormonersatztherapie zur Abfederung der Klimakteriumsbeschwerden noch stark propagiert. Doch ab 2000 mehrten sich die Erkenntnisse und Studien, daß hier nicht nur kaum meßbare Vorteile, sondern augenscheinlich allerhand negative Effekte auftreten: Frauen, die durch eine Östrogenersatztherapie hofften, die gefürchtete Antriebslosigkeit oder Osteoporoseerscheinungen abmildern zu können, wurden auf einmal mit Studien konfrontiert, die eine signifikante Erhöhung des Brustkrebsrisikos nahelegten. Wie an vielen Stellen nachzulesen war, reagierten viele Länder, vor allem in Skandinavien und Nordamerika sehr schnell: die Therapie wird seitdem nur bei konkreter Indikation duchgeführt. In Deutschland freilich scheinen die Gynäkologen kaum die jeweiligen Fachblätter zu studieren.

„Es besteht offenbar insbesondere bei den älteren, männlichen Frauenärzten eine sehr deutliche Tendenz, den Nutzen der Hormone über- und die Risiken unterzubewerten“, sagt Bruno Müller-Oerlinghausen, Vorsitzender der Arzneimittelkommission der Deutschen Ärzteschaft.

Mehr als erstaunlich, wenn man weiß, daß sogar das Risiko für Demenzerkrankungen, die durch die Gabe von Hormonen abgeschwächt und vermieden werden sollten, bei den Patientinnen die Hormone erhielten, leicht erhöht war. Selbst hier waren also die angestrebten Effekte nicht zu finden.

Echinacea, Umckaloabo und Co.

Wer kennt nicht das Haus- und Heilmittel „Echinacea“, das als meistverkauftes natürliches Erkältungsmedikament ein wahrer Umsatzrenner ist? Aber wirkt das Extrakt aus dem roten Sonnenhut tatsächlich? Ist es gerechtfertigt, daß allein in den USA jährlich ein Umsatz von über 80 Millionen Euro mit diesen Präparaten erzielt wird?

Denn die Frage, ob die Einnahme von Echinacea-Präparaten bei Ansteckung oder in Bezug auf die Heilung von Erkältungskrankheiten einen positive Wirkung hat, ist mehr als umstritten. Wobei: genaugenommen ist seit einigen Jahren im Grunde erwiesen, daß die Effekte kaum meßbar oder um ehrlich zu sein, nicht vorhanden sind. Andere Hausmittelchen wie die „heiße Zitrone“ oder ein – wie ich finde probates und zudem wohlschmeckendes Therapeutikum – „Bratapfel“ dürften ähnlich erfolgreich wirken. Na gut, wenn Echinacea nichts nützt, Schaden ruft es – abgesehen vom Loch im Geldbeutel – wenigstens nicht hervor. Aber neuerdings gibt es doch wieder Verwirrung: eine aktuelle Metastudie einer Forschergruppe um Craig Coleman von der Universität Connecticut glaubt nun doch eine Wirksamkeit belegen zu können. Wie kann das sein?

Nochmal der Reihe nach: bereits 2002 stellten die Mediziner um Dr. Bruce P. Barrett von der Universität Wisconsin in einer vergleichenden Studie fest, daß die überstrapazierte Redewendung von der Erkältung, die unbehandelt sieben Tage, mit Behandlung aber eine Woche anhalte, auch für die Anwendung von Echinacea zutreffe; sie stellten fest:

No statistically significant differences were detected between the echinacea and placebo groups for any of the measured outcomes. Trajectories of severity over time were nearly identical in the two groups. Mean cold duration was 6.01 days in both groups as a whole, 5.75 days in the placebo group, and 6.27 days in the echinacea group.4

Und auch in einer vergleichenden Metastudie 20065 kamen Barrett und seine Gruppe zur selben Ansicht: in 22 Einzelstudien, die erheblich in ihrer Vorgehensweise variierten, fanden sie keinen einheitlichen, gesicherten Nachweis für eine Wirksamkeit. Die Studien, die einen positiven Effekt belegen, weisen häufig deutliche Mängel in der (randomisierten) Durchführung auf und sind teilweise eher anekdotisch wertvoll.

Nun aber, nach einer erneuten Metastudie von Coleman et. al.6 ist wieder alles anders. Angeblich, jedenfalls. Der „Stern“ wußte vor wenigen Wochen: „Echinacea-Mittel: Und sie helfen doch!“ Aber ist dem so? Was hat Coleman anders gemacht als seine Kollegen? Denn der „Stern“ glaubt ja sogar zu wissen, daß die gemeinsame Einnahme von Vitamin C und Echinacea das Erkältungsrisiko gar um 86% senke. Toll, wenn es so einfach wäre.

Ein kleiner Artikel der Businessweek7 klärt ein wenig auf; unter dem vielsagenden Titel: „When Medical Studies Collide“ werden die Hintergründe der widersprüchlichen Artikel beleuchtet und man darf lesen:

The problem is, the world of medical and health research is messier than most people realize. Black-and-white answers are rare, even when it comes to a single drug trial. In hormone replacement therapy, „people from the same study are disagreeing with each other,“ says Julie Buring, professor of medicine at Brigham & Women’s Hospital in Boston. The uncertainties deepen when studies are inconclusive or contradictory. That’s when researchers often lump data from a number of trials together in a meta-analysis, hoping the sum will be greater than the parts. But the approach often has pitfalls.

Hier wird also die Hoffnung, daß die Summe der Einzelstudien in der Zusammenschau ein höheres Maß an Richtigkeit aufweisen, wieder einmal enttäuscht. Denn gerade die Auswahl der Studien, die berücksichtigt werden sollen, ist umstritten und beeinflußt das Ergebnis erheblich. Wie lassen sich die unterschiedlichen Schlußfolgerungen aber erklären?

Die Verführung durch Erfolg und Meßbarkeit: Publikations-Bias

Vermutlich durch einen sog. Publikations-Bias. Dieser erklärt sich schlicht daraus, daß Studien, die keine Effekte aufweisen, mit höherer Wahrscheinlichkeit unpubliziert bleiben; im Gegensatz finden Studien, die eine Wirksamkeit belegen, fast immer den Weg in die Journale. Das führt freilich dazu, daß die Wirksamkeit meist überschätzt wird, wenn man nur die Artikel in den Journalen zugrundelegt. Dies jedenfalls die plausible Erklärung, denn Coleman hatte nur 14 Studien herangezogen. Barrett allerdings 22 und darunter zwei Studien, die niemals veröffentlicht wurden. Das soll nun nicht heißen, daß es die Menge macht, also daß 22 Studien besser seien als 14, aber gewisse Verzerrungseffekte sollte man berücksichtigen.

In addition, Coleman used only published studies, while Barrett included two unpublished ones. That decision can have a big impact. „We know there is publication bias,“ says Frank E. Harrell Jr., chair of biostatistics at Vanderbilt University. It’s much easier to get a study published that says, „something works!“ than one saying, „Oops, the treatment had no effect.“ Using published data alone thus typically makes the final result more positive.

(…)  Meta-analyses may also mislead by relying on data reported in papers rather than on original raw data, which are usually kept secret. „Good raw data from one study can be worth 50 studies in a meta-analysis,“ says Vanderbilt’s Harrell.

Man sollte also auch bei angeblich durch Metastudien gewonnenen Erkenntnissen vorsichtig sein. Denn ganz offenbar sind es die Selektionskriterien, die bestimmen, welche Studie unter welcher Gewichtung berücksichtigt wird, die zu den skizzierten Effekten führen. Und im Ergebnis haben wir keine Zunahme von Wissen, sondern von Nichtwissen. Metastudien können, oh Wunder, auch ein Instrument der Agnotologie sein – der Kunst, Nichtwissen herbeizuführen. Das jedenfalls ist das Ergebnis, wenn „medizinische Studien kollidieren“.

Denn, wie Dr. Barrett feststellt, allzu oft werden Äpfel mit Birnen verglichen. Und der Fokus auf veröffentlichte Studien dürfte meist zu einer dezenten Verzerrung hin zu positiven Schlußfolgerungen führen. In Bezug auf Echinacea sollte man also auch weiterhin skeptisch sein. Auch wenn der „rote Sonnenhut“ einem zunächst durchaus sympathisch sein darf, ob sein Extrakt hilfreich ist, werden weitere Studien erweisen müssen.

Darf man dann zum als „natürliches Antibiotikum“ angepriesenen Umckaloabo greifen? Immerhin hat sich der ethanolische Wurzelauszug ja zu einem riesigen Erfolg vornehmlich in Deutschland entwickelt, der Jahresumsatz erreicht derzeit angeblich stattliche 60 Millionen Euro. Können so viele Anwender irren? Skepsis scheint auch hier berechtigt.8 Umckaloabo ist derzeit noch deutlich schlechter erforscht als Echinacea. Man darf also gespannt sein…

[Update | 30.10.2007]:

Hier im Quanti|Soz|Blog („Publication bias in Forschungsreviews„) nimmt sich Bernd meinen Argumenten an. Er stimmt größtenteils zu, möchte aber Meta-Studien keinesfalls als Generator von Nicht-Wissen verstanden wissen. Das ist von mir auch keineswegs so beabsichtigt. Worauf es mir ankam: Meta-Studien können (nicht müssen) im Ergebnis mehr Unsicherheit als Sicherheit hinterlassen. Weitere Anmerkungen meinerseits in den Kommentaren [2].

Link- und Literaturtipps: 

Wissenswerkstatt:

• Scheloske, Marc (2007): Wolke der Unwissenheit – Agnotologie I, 28. März 2007
  

Wissenschaft, Nichtwissen und Medizin:

• Evans, I., Thornton, H, Chalmers, I. (2007): Was hilft wirklich? Medizinisch Wissenschaftliche Verlagsg.
• Hans-Jörg Rheinberger: Man weiss nicht genau, was man nicht weiss. Über die Kunst, das Unbekannte zu erforschen. NZZ, 5.5.2007
• Wehling, Peter (2006): Im Schatten des Wissens? Perspektiven der Soziologie des Nichtwissens. UVK-Verlag.
• Rheinberger, Hans-Jörg (2006): Epistemologie des Konkreten. Studien zur Geschichte der modernen Biologie. Frankfurt: Suhrkamp.
• Latour, Bruno (2002): Die Hoffnung der Pandora. Untersuchungen zur Wirklichkeit der Wissenschaft. Frankfurt: Suhrkamp.
• Knorr-Cetina, Karin (1981): Die Fabrikation von Erkenntnis. Zur Anthropologie der Naturwissenschaft. Frankfurt: Suhrkamp.

Echinacea und Erkältungskrankheiten:

• New Scientist (2007): Echinacea may halve the risk of catching cold, 25.6.2007
• Business Week (2007): When Medical Studies Collide. Contradictory reports? Meta-analysis may make things more confusing, 6.8.2007
• Linde K, Barrett B, Wölkart K, Bauer R, Melchart D. (2006): Echinacea for preventing and treating the common cold. Cochrane Database of Systematic Reviews 2006, Issue 1.
• Barrett, P., Brown, R.L. et al. (2002): Treatment of the Common Cold with Unrefined Echinacea, in: Annals of Internal Medicine, 17 December 2002, Volume 137, Issue 12, pp. 939-946.

Umckaloabo:

• Kekulé, Alexander S. (2005): In den Blumentopf, nicht in den Hals, tagesspiegel, 20.4.2005
• arznei-telegramm (2003): Quacksalberei: Was ist dran am Umckaloabo?

Hormonersatztherapie:

• Wissenschaft.de: Weniger Brustkrebs nach Rückgang der Hormonersatztherapien, 16.12.2006
• Schneider, Sylvia (2003): Tatort Frau. Der große Hormonschwindel. Ueberreuter-Verlag.
  
• Koch, Klaus: Hormontherapie – Das Ende des „Jungbrunnens“, Ärztekammer Berlin, März 2003

1. Das Schmerz- und Rheumamedikament der Fa. Merck zählt zur Gruppe der sog. COX2-Hemmer, die seit wenigen Jahren im Verdacht stehen, Infarkte und Schlaganfälle zu begünstigen. [↩]
2. Unter diesem Handelsnamen mußte Bayer seinen Cholesterinsenker mit dem Wirkstoff „Cerivastatin“ aus dem Handel nehmen, nachdem unter dessen Einnahme mehrere Todesfälle berichtet wurden. [↩]
3. In den Phase-I-Studien wird die Verträglichkeit (tolerability), in den Phase-II-Studien die Wirksamkeit (effectiveness) überprüft. [↩]
4. vgl. Barrett, P., Brown, R.L. et al. (2002): Treatment of the Common Cold with Unrefined Echinacea, in: Annals of Internal Medicine, 17 December 2002, Volume 137, Issue 12, pp. 939-946. [↩]
5. vgl. Linde K, Barrett B, Wölkart K, Bauer R, Melchart D. (2006): Echinacea for preventing and treating the common cold. Cochrane Database of Systematic Reviews 2006, Issue 1. [↩]
6. vgl. Lancet Infectious Diseases (vol 7, p 473) [↩]
7. Über den ich dankenswerterweise bei Medinfo gestolpert bin. [↩]
8. vgl. arznei-telegramm: arznei-telegramm (2003): Quacksalberei: Was ist dran am Umckaloabo? [↩]