Kritik der experimentellen Ergebnisse
Einige Kritiker erkennen an, dass es parapsychologische Studien gibt, die sowohl wissenschaftlichen Standards entsprechen als auch positive Ergebnisse haben, werfen den Parapsychologen aber vor, dass das Feld auf dem Glauben an mögliche Resultate und nicht auf wissenschaftlicher Erkenntnis selbst begründet sei.[111][96] Skeptische Gutachter kritisieren, dass scheinbar erfolgreiche Versuchsergebnisse in der Psi-Forschung eher auf ungenauen Versuchsdurchführungen, schlecht ausgebildeten Forschern und methodischen Fehlern beruhen als auf echten Psi-Effekten.[112][113][114][115] So wurden die Ergebnisdaten des PEAR-Labors von der Statistik-Professorin Jessica Utts und dem Psychologen Ray Hyman in Frage gestellt. Utts hat festgestellt, dass diese Versuche an einer Vielzahl von Problemen leiden, was die Randomisierung, die statistischen Kontrolldaten und die Anwendung statistischer Modelle betrifft. Wegen der Defizite in den Versuchsanordnungen und der statistischen Auswertungsverfahren seien die publizierten Signifikanzwerte wertlos.[116]
Die Reinkarnationsforschung geriet vor allem methodisch in die Kritik, weil es bei den Befragungen von Kindern, Angehörigen und Bekannten sehr schwer ist, eigene unbewusste Suggestionen durch die Fragetechnik zu erkennen und zu vermeiden. Der kanadische Philosoph Leonard Angel gehört zu den schärfsten Kritikern der Arbeiten Stevensons in der Reinkarnationsforschung.[117]
Psi ist ein negativ bestimmter Begriff, das heißt, die übliche Vorgehensweise, Belege für parapsychologische Phänomene zu gewinnen, geht über die statistische Abweichung vom mittleren Zufallswert. Der kritische Punkt ist jedoch: statistische Abweichung vom mittleren Zufallswert ist, streng genommen, nur ein Beleg für eine statistische Anomalie, oder ein Indiz, dass irgendeine unbekannte Variable die beobachtete Mittelwertabweichung bewirkt hat. Damit aber kann keine positive Aussage über Psi gemacht werden. So stellt Psi eine Leerhülse dar, die eigentlich nur beschreibt, dass die Daten eines Experimentes mit den bekannten Variablen nicht zu 100 Prozent erklärt werden können. Hyman geht noch weiter und schlussfolgert, dass selbst, wenn eine parapsychologische Forschung in der Lage ist, einen signifikanten, reproduzierbaren Effekt zu erzeugen, das noch weit entfernt ist von der Schlussfolgerung, dass Psi-Wirkungen endlich bewiesen seien.[118] Einige Wissenschaftler bezeichnen aus diesen Gründen die Parapsychologie als Pseudowissenschaft.[119][120]
Voreingenommenheit und Metaanalysen
Ausgewähltes Berichten (engl. „selection bias“ oder „selective reporting“
wird von Kritikern als eine Erklärung für die positiven Ergebnisse der Parapsychologie angegeben. Selektives Publizieren bedeutet, dass nur positive Studien publiziert werden, während negative Studien oder unbedeutende Ergebnisse nicht öffentlich gemacht werden.[63] Selektives Publizieren hat einen erheblichen Einfluss auf Metaanalysen, die eine statistische Methode darstellen, um die Ergebnisse vieler Studien zusammen zu fassen und daraus eine Gesamtsignifikanz zu bestimmen, die größer als diejenige von einzelnen Studien sein kann. Wenn aber die negativen und unbedeutenden Studien in solch einer Metaanalyse nicht vorkommen, wird das Gesamtergebnis am Ende positiv verzerrt und führt dann zu falschen Schlüssen. Als Beispiel: Die Metaanalyse zu Psychokineseversuchen vereinte die Ergebnisse von 380 Studien[62] einschließlich der Daten des Princeton Engineering Anomalies Research-Labors. Durch eine andere Methode der Effektstärkenberechnung stellte sich heraus, dass die positive Gesamtsignifikanz dieser gesamten Studien sich durch nur wenige zusätzliche negative Studien aufhebt, was den Verdacht von selektivem Publizieren als Ursache des positiven Gesamtergebnisses schürt.[38]
Die Popularität von Metaanalysen wurde schon von zahlreichen Wissenschaftlern kritisiert und stellt die Resultate der Parapsychologie in Frage.[121] Kritiker werfen der Parapsychologie vor, sie missbrauche Metaanalysen, um den falschen Eindruck zu erwecken, über die statistische Signifikanz sei bereits der Nachweis von Psi-Phänomenen gelungen.[122] Ähnliche Probleme mit Metaanalysen wurden auch schon in der Medizin beobachtet. Jim E. Kennedy hat geschrieben, dass die Bedenken zum Gebrauch der Metaanalysen in Wissenschaft und Medizin auch die Probleme in der Parapsychologie mit ausmachen. Auch Post-hoc-Analysen, d.h. Auswertungen, bei denen nach Abschluss der Versuche die Auswertungsverfahren festgelegt werden, können einen falschen Eindruck erwecken, wenn sie nicht zur Hypothesenfindung dienen, sondern Psi-Effekte nachträglich ausweisen sollen.[123]
