Statistiken und ihre Statistiker!

Es gilt zu vermeiden, aus Statistiken, Tabellen und Diagrammen die Pedanterie der Erfahrung zu machen.


Alfred Oder-dt. Publizist
 
Werbung:
Statistiken sind das, was für den Betrunkenen die Straßenlaterne ist - allenfalls ein Hilfsmittel.
Sie spiegeln meinetwegen alles möglich wieder, aber die Wahrheit bestimmt nicht und die Wirklichkeit schon garnicht.
 
Nur mit dem Unterschied dass die Statistik kein Alkoholproblem hat- sie hinkt gelegentlich- im Schlepptau längst überholtes.
 
@JacquesDeMolay

Ich möchte hier einmal eine Lanze für gute, seriöse Studien brechen! Und statistische Methoden sind nun mal das Werkzeug für Datenanalyse.
Dabei haben Skepsis und kritisches Lesen unbedingt ihre Berechtigung. Aber diese pauschale Ablehnung?

Jeder der eine Lebensversicherung, eine Kfz-Kasko-Versicherung oder eine Krankenversicherung hat, hat mit Statistik zu tun. Jeder der schon mal einen Intelligenz-Test, einen Persönlichkeits-Fragebogen, einen Eignungstest gemacht oder an einer Umfrage teilgenommen hat ebenfalls. Auch wer schon mal ein MRI gebraucht hat... überall "lauern" im Hintergrund statistische Verfahren.

Auch im Bereich der Human- u. Sozialwissenschaften braucht es fundierte Untersuchungen. Das ist vor allem der Bereich der empirischen Forschung.

Empirische Forschung sucht nach Erkenntnissen aus Erfahrungen durch systematische Auswertung.
Dafür wird, basierend auf einer anfänglichen Vermutung, eine wissenschaftliche Hypothese formuliert, d.h. eine Annahme über einen überprüfbaren Sachverhalt (kausale oder nicht-kausale Zusammenhänge zwischen Merkmalsausprägungen).
Die Formulierung erfolgt in einem Konditionalsatz und muss potentiell falsifizierbar sein – es müssen also Ereignisse denkbar sein, die den Konditionalsatz widerlegen können.
Im nächsten Schritt erfolgt die Transformation in eine statistische Hypothese = Wahrscheinlichkeitsaussage. Diese ist probabilistisch, d.h. es werden nicht deterministische Aussagen für einen bestimmten Einzelfall gemacht, sondern für Tendenzen in einer Gruppe.
Um die Untersuchung bzw. Datenerhebung möglichst aussagekräftig zu machen, ist eine gute Studienplanung notwendig. Dabei gilt es v.a. Störvariablen zu vermeiden. So werden z.B. durch verschiedene Randomisierungs-Techniken bei genügend Gruppengröße personenbezogene Störvariablen neutralisiert. Durch (Doppel-)Verblindung wird das (unbewusste) Wunschdenken der Testpersonen und Testleiter bzw. Testauswerter herausgenommen. Kontrollgruppen u./od. Placebogruppen sind für die Relevanz eines Ergebnisses wichtig… und… und… und.

Die verschiedenen statistischen Methoden sind für die empirische Forschung das Werkzeug für eine strukturierte Datenanalyse. In diesem Bereich wird meiner Erfahrung nach relativ wenig geschlampt – manchmal werden bestimmte Werte unsinnigerweise ausgegeben (siehe Mittelwert: Jäger und Hase), oder ungeeignete Methoden verwendet. Bei einer Untersuchung die in einem seriösen, peer-reviewed Journal publiziert werden soll passiert das aber kaum, da dies ein Grund für eine Ablehnung ist.
Bereiche in denen häufig geschlampt wird sind die Untersuchungsplanung bzw. das Studiendesign insgesamt. Und natürlich bei der Ergebnisinterpretation. Da passieren hanebüchene Dinge.
Eine seriöse Studie gibt immer einen primären Endpunkt an, d.h. sie formuliert genau für welches Merkmal ihrer Hypothese sie ein Ergebnis erwartet. Kann hier kein signifikantes Ergebnis nachgewiesen werden, muss die Hypothese als gescheitert angesehen werden.
Hier passieren viele Schummeleien: als Ausgangsbasis für andere Untersuchungen bzw. Hypothesen kann man vorab sekundäre Endpunkte beschreiben. Ein signifikantes Ergebnis in einem sekundären Endpunkt ist allerdings KEINE Bestätigung der Untersuchungshypothese. Das wird manchmal ganz gerne unterschlagen.
Aus diesem Grund gibt es seit einigen Jahren auch Studiendatenbanken. Seriöse Untersucher melden ihre Studien dort an und man kann sich jederzeit informieren, was den der genaue Untersuchungsgegenstand ist.
Ein erschreckendes Detail, welches erst durch diese Datenbanken zutage trat, ist der Publication-Bias – nur ein Teil der durchgeführten Studien wird veröffentlicht. Negative Ergebnisse werden meist leider nicht publiziert. Hier besteht wirklich Handlungsbedarf.
Studien sollten für eine Veröffentlichung angemeldet werden müssen. Angemeldete Studien sollten auch bei negativem Ergebnis veröffentlicht werden müssen.

Es gibt also gute Gründe, warum die Wissenschaftsgemeinde auf Qualitätsstandards pocht.

Um Studienergebnisse einschätzen zu können ist es hilfreich, sich zumindest über die Grundzüge von Forschungsmethoden und Evaluation zu informieren.

Die meiste Ablehnung von statistischem Methoden merke ich meist bei "Alternativen" und Esoterikern. In diesen Bereichen gibt es bis dato auch keine Untersuchung die sowohl den Qualitätskriterien entspricht als auch signifikante Ergebnisse liefert.
Dabei wären gerade empirische Forschungsmethoden geeignet, wenn es Effekte gibt, diese auch auf zu zeigen - und sie sind nicht ganz so "streng" wie in den "harten Naturwissenschaften".
 
Es gibt also gute Gründe, warum die Wissenschaftsgemeinde auf Qualitätsstandards pocht.

Auf "Quantitätsstandards" ;) Sonst gäbe es diesen ganzen Disput nirgends. Dass Statistiken durchaus ihre Berechtigung haben, zweifle ich ja gar nicht an, was ich kritisiere, ist die "Behauptung" der Statistiker auf allen Bereichen zur Wirklichkeitsfindung/Wahrscheinlichkeitsgrade/Wahrheitsmessungen.

Es gibt Bereiche, da haben Statistiken nichts verloren.
 
Auf "Quantitätsstandards" Sonst gäbe es diesen ganzen Disput nirgends. Dass Statistiken durchaus ihre Berechtigung haben, zweifle ich ja gar nicht an, was ich kritisiere, ist die "Behauptung" der Statistiker auf allen Bereichen zur Wirklichkeitsfindung/Wahrscheinlichkeitsgrade/Wahrheitsmessungen.

Du verwechselst offensichtlich quantifizierbar mit Quantität. Es gibt bei der Datenerhebung quantifizierbare, d.h. durch Messung oder aus Zahlenwerten erhobene Daten (z.B.: Alter, Größe, Gewicht, Einkommen, Reaktionsgeschwindigkeit, Fehleranzahl...) und qualitative Daten (häufig durch Befragung, aufgrund von Eigenschaften - wie z.B.: Nationalität, Hobbies, Vorlieben, Beruf...).
Daneben gibt es quantitative Verfahren ("harte" Methoden) und qualitative Verfahren (eher "weiche" Methoden).

Die Durchführungsstandards wie etwa genaue Studienplanung, durchgehende und vollständige Dokumentation, Randomisierung, Verblindung, Kontrollgruppen ... dienen ausschließlich der Qualitätssicherung, da auch Forscher "nur" Menschen sind und dies Vorgaben notwendig macht, um das zutiefst menschliche streben nach Erfolg und das daraus resultierende (meist unbewusste) Wunschdenken weitgehend aus zu merzen.

Es gibt Bereiche, da haben Statistiken nichts verloren

Wenn es um das Entdecken von Tendenzen, kausaler Zusammenhänge, um Prognosen oder die Evaluation von Therapien, Prozessen od. ähnlichem geht sind strukturierte Erhebungen und statistische Auswertung das einzige einigermaßen verlässliche Handwerkszeug das wir haben.
 
Werbung:
Allen, die sich dafür interessieren, wie nützlich, wichtig, informativ und dabei unterhaltsam Datenauswertung sein kann, möchte ich folgende Web-Site ans Herz legen: TED, Ideas worth spreading (www)ted.com und hier im besonderen Hans Rosling (www)ted.com/talks/hans_rosling_at_state.html
 
Zurück
Oben