Hütet Euch vor der Eindeutigkeit der Zahlen » Weshalb Statistiken mit Vorsicht zu genießen sind | Werkstattnotiz LXXXXVII

Zahlen, Statistiken und Schaubilder sind etwas wunderbares. Wie angenehm ist es doch, wenn man komplexe soziale Phänomene auf anschauliche Weise abbilden kann? Wie gut fühlt es sich an, wenn man mit einigen eindeutigen Zahlen seine Behauptungen untermauern kann?

Denn:

Wie hat George W. Bush seine Arbeit gemacht? – Schlecht! (Das sagen 77% aller Bundesbürger.)1

Oder:

Spielt der Aberglaube um den „Freitag, den 13.“ im Alltag eine Rolle? – Nein! (Nur knapp 18% geben zur Auskunft, daß Ihnen an diesem Datum „mulmig“ sei.)2

Die gesamte demoskopische Branche lebt von dem Bedürfnis nach eindeutigen Zahlen, die uns die Welt erklären.

Ein ganze Branche – das Volk der Demoskopen – lebt von diesem Wunsch, diesem tiefsitzenden Bedürfnis nach Zahlen, die uns die Welt vielleicht nicht ganz erklären, aber so zumindest ein Stückchen eindeutiger und handhabbar machen.

Dabei ist klar, daß ein bloßer Zahlenwert für sich allein genommen, kaum eine Aussagekraft hat – es kommt darauf an, daß die Werte eingeordnet und „verstanden“ werden.3 Und daß statistische Erhebungen ein schwieriges Geschäft sind, versteht sich ohnehin von selbst.

Mißtraut den Zahlenfreaks!

Nun gibt es für alle Skeptiker, die all die bunten Zahlen und Schaubilder ohnehin zum Teufel wünschen, neue Argumente. Und das aus vollkommen unverdächtiger Ecke: eine aktuelle Studie der „International Mathematical Union (IMU)“ macht darauf aufmerksam, daß wir der Aussagekraft von Zahlen nicht ohne weiteres Vertrauen sollten.

Nun gut, die erste populäre Kernthese aus der Pressemitteilung, gehört eher in die Kategorie Binsenweisheiten:

• Statistics are not more accurate when they are improperly used; statistics can mislead when they are misused or misunderstood.

Um ehrlich zu sein, hätte ich das auch so gewußt. Aber nett, daß gerade die Mathematiker explizit darauf hinweisen, daß Statistiken irreführend sein können und sie anderen Darstellungen/Beschreibungen keineswegs überlegen sind, da sie u.a. viele handwerkliche Fehlerquellen beherbergen.

Wie beziffert man Forschungsqualität?

Allerdings ist der Bericht dennoch sehr bemerkenswert, denn die Mathematiker hatten sich mit den statistischen Bewertungen von Forschungsleistungen befasst. Das Hauptaugenmerk lag dabei auf Kenngrößen wie dem „Impact Factor„, der die Zitationsrate von Fachartikeln beziffert und ein wesentliches Kriterium für die „Forschungsleistung“ oder schlicht Qualität von Wissenschaft darstellt.

Und hier kommt das Paper zu folgendem Ergebnis:

• The objectivity of citations is illusory because the meaning of citations is not well-understood. A citation’s meaning can be very far from „impact“.
• While having a single number to judge quality is indeed simple, it can lead to a shallow under-standing of something as complicated as research.

Die Fixierung auf Konstrukte wie den „Impact Factor“ ist irreführend!

Auch keine Erkenntnisse, die man nicht vorher gehabt hätte. Aber die Feststellungen, daß

1. die Messung und Addition von schlichten „Zitaten“ nicht unbedingt mit Relevanz gleichzusetzen ist; daß es eben darauf ankommt, „wie“ zitiert wird und nicht nur die Häufigkeit von Verweisen zählt und
2. die Reduzierung von Forschungsleistungen auf eine einzige Zahl zu einfach und oberflächlich ist. Und man der Komplexität von Wissenschaft mit einer einzigen Kennziffer niemals beikommt,

diese Feststellungen sind doch lobenswert.4

Pflichtlektüre für die „Wissenschaftsvermesser“!

Ich möchte bitte, daß all die Herrschaften bei DFG und anderen Leistungsbemessungs-Institutionen diesen Bericht lesen und ihre Qualitätskriterien überdenken.

Und noch ein letzter Satz ist natürlich wunderbar – und er ist Wasser auf die Mühlen eines jeden Sozialwissenschaftlers, die sich ständig den Vorwürfen gegenübersehen, ihre Disziplin sei doch so wenig handfest und man habe keine verläßlichen Größen und Zahlen und überhaupt. Also, herhören liebe Ingenieure und Naturwissenschaftler:

• Numbers are not inherently superior to sound judgments.

Gut gebrüllt, liebe Mathematiker! Danke!

Statistik
Impact Factor

1. Quelle: Emnid, 11.06.2008 [↩]
2. Quelle: GfK im Auftrag der Apotheken-Umschau, 10.06.2008 [↩]
3. Übrigens: Natürlich treffen solche Einwände auch Rankings – wie etwa die Wissenschaftsblog-Charts. Allerdings kommt es m.E. eben darauf an, daß klar kommuniziert wird, wo die Grenzen der Zahlen bzw. Rankings liegen. Für die Wissenschaftsblog-Charts habe ich jeweils im Vorfeld explizit betont, daß Technorati-Werte kein (!) Qualitätsmerkmal sind! [↩]
4. Denn im Grunde ist der „Impact Factor“ wenig anderes als die „Page Impression“ der Wissenschaft. Die ausschließliche Fixierung auf diese Meßgröße verstellt den Blick auf andere Zusammenhänge, führt zu unerwünschten Effekten und „verzerrt“ das Bild… [↩]