Warum diese Studie Schrott ist, habe ich vor kurzem ausführlich dargelegt:
Kallisto, Beitrag # 1635, "Bezahlte oder ehrenamtliche Trolle..."
Hallo
@kulli,
ich würde Dir gerne, anhand der von Roti verlinkten Studie erläutern, warum diese Arbeit kein Renommee für Bioresonanz ist und die Ergebnisse zu nix taugen.
Es wird ein etwas ausführlicherer Kommentar. Wenn Du Dir die Zeit nehmen würdest ihn durchzulesen, würd mich das sehr freuen. Vielleicht wird dann auch ersichtlicher, dass kritische Studienbewertung keine Frage von Bosheit oder fehlender Expertise ist.
Für die Einschätzung des Evidenzgrads von Studien gibt es eine Art Hierarchie, die nach qualitativen und systematischen Kriterien aufgebaut ist, z.B.
http://www.cochrane.de/de/evidenz-empfehlung ,
oder
http://www.cebm.net/ocebm-levels-of-evidence/
Wenn ich Studien lese, dann interessiert mich zuerst vor allem der Methodenteil, da hier die wichtigen Schritte beschrieben werden und dieser wesentlich ist für die Einschätzung der Qualität und somit der Ergebnisse.
Aber von Beginn an:
Plazebokontrollierte Studie zur Wirkung einer standardisierten MORA-Bioresonanztherapie auf funktionelle Magen-Darm-Beschwerden
Placebokontrolliert klingt gut, ist gut, weiter im Text...
„Ergebnisse: Nach Einschätzungen der Patienten und des Therapeuten verbesserten sich die Magen-Darm-Beschwerden in der Verumgruppe deutlich und signifikant (p < 0,01).“
NICHT verblindeter Behandler, Bewerter und Auswerter in Personalunion – jetzt klingt es gar nicht mehr gut....
Bei vielen Interventionsstudien kann der Behandler nicht verblindet sein. Dem ist, um ein halbwegs valides Ergebnis zu bekommen, vor allem im Studienprozedere Rechnung zu tragen!
Im Klartext heißt dass, die Person(en), die die Behandlung durchführt(en) dürfen an der Datenerhebung, Bewertung und Auswertung NICHT beteiligt sein!
Und diejenigen, die den Probandenzustand einschätzen oder erfragen und Ergebnisse auswerten, MÜSSEN verblindet sein. Sonst wird das nix.
„Es wurde eine randomisierte, prospektive, plazebokontrollierte Studie in einer internistischen Arztpraxis durchgeführt. Die Plazebogruppe (B) und die Verumgruppe (A) umfassten jeweils 10 Versuchspersonen. Die Zuordnung der Studienteilnehmer zu den Gruppen erfolgte per Losverfahren.“
An diesem Punkt werde ich wieder stutzig.
Hier werden, mit liebe zum Detail, die Zulosung (Stratifizierung) erklärt, aber wer führt sie durch? Ein Schelm der denkt, dass das auch der Studienleiter/ Therapeut/ Bewerter selber macht, oder dran beteiligt ist...
Der zweite Punkt ist die Probandenzahl; jeweils 10 Personen pro Gruppe (Verum u. Placebo). Das ist ziemlich wenig, zumal auch keinerlei Angaben zur Power und Effektgröße gemacht werden.
Es wird zwar im Text die Randomisierung ausführlich beschrieben (stratifiziert), aber
„In 5 Fällen wurde eine Gastroskopie durchgeführt, um eine organische Erkrankung auszuschliessen, im Übrigen reichten anamnestische Erhebungen.“
über die Art der anamnestischen Erhebung und warum das reichen sollte, bzw. darüber was mit den gastroskopisch untersuchten Probanden passiert ist, erfahren wir... nix.
Leges Artis wäre es das gesamte Probandenkollektiv nach dem selben und genau dargestellten Prozedere ein- bzw. auszuschließen.
Ebenso gab es offensichtlich keine Kriterien hinsichtlich zusätzlicher (psychosomatischer) Erkrankungen, die entweder als Ausschlußkriterien definiert werden müssten oder in die Stratifizierung mit einfließen...
Auch über die Art der Medikation gibt es keinerlei Angaben, nur, dass sie während der Studie beibehalten wurden – was am Ende aber relativiert wird, auch hier wieder ohne jede Erklärung.
Die primären Zielgrößen wurden durch subjektive Einschätzung erfragt bzw. vom Therapeuten (!Singular, unverblindet!!) eingeschätzt. D.h. die erhobenen Daten sind diskret und im besten Fall ordinalskaliert – was die zulässigen statistischen Möglichkeiten stark beeinflusst.
Über die Art der Befragung / Einschätzung läßt uns die Studie vollkommen im Dunkeln (ob z.B. strukturiertes Interview mit Handanweisung zur Auswertung, Fragbogen mit Likert-Skala, ....)
Und nochmal: bisher braucht man als Leser von der speziellen Materie noch überhaupt keine Ahnung zu haben. Es genügt ein bisschen Wissen über Studiendesign, Bias und Confounder. Schon schrillen die Alarmglocken...
Neben den primären Zielgrößen gibt es auch noch eine Vielzahl sekundärer Zielgrößen:
„Als sekundäre Kenngrössen wurde folgende Parameter dokumentiert: elektrische Hand-Hand-, Hand-Fuss- und Fuss-Fuss-Leitwerte als Ausdruck der Wirkung im vegetativen Nervensystem; Stuhlparameter (pankreatische Elastase, sekretorisches Immunglobulin A, Alpha-1-Antitrypsin); Blutparameter (Gamma- Glutamyl-Transferase, BGS, Leukozyten, Erythrozyten, Thrombozyten); Kenngrössen der Bio-Elektronischen Terrain-Analyse (BE-T-A) von Blut, Speichel und Urin (pH-Wert, spezifischer elektrischer Widerstand, rH-Wert) .
Warum diese, bzw. wie zu bewerten wird nicht erkärt, was eh wurscht ist, sie tauchen bis zur Ergebnisdarstellung ohnehin nicht mehr auf.
Auch diese Punkte
„Patienteneinschätzung des körperlichen, seelischen und geistigen Allgemeinzustandes; neue Symptome durch die Therapie (Nebenwirkungen); Medikamenteneinnahme; Therapeuteneinschätzung des Allgemeinzustandes."
bleiben unkommentiert, unerklärt und ohne Datenhintergrund. Aber dafür ein bisschen Geschwurbel bei den Ergebnissen:
„Auf den körperlichen und seelischen Allgemeinzustand wirkte sich die MORA-Therapie im Gegensatz zur Plazebobehandlung nach den Angaben der TN deutlich verbessernd und sig- nifikant aus, auf den geistigen Allgemeinzustand allerdings nur tendenziell verbessernd.“
Was da wie erhoben und wie ausgewertet wurde, und welche der Einschätzungen sich verbessert hat darf sich die geneigte Leserin zwar fragen, Antwort gibt´s aber keine.
Spannend ist auch die Darstellung des Statistikteils.
„Der Plazebo-Verum-Gruppen-Vergleich wurde mit dem U-Test nach Mann und Whitney [9] durchgeführt. Er führt einen verteilungsfreien Vergleich zweier unabhängiger Stichproben von Rangdaten durch. „
Da ein nicht-parametrischer Test verwendet wurde, müssen wir davon ausgehen, dass die Daten nicht normalverteilt sind (d.h. die Verteilung kann links- od. rechtsschief sein, Ausreißer enthalten...). Beim U-Test wird normalerweise der Median verwendet und die Daten müssen stetig sein. Trotzdem werden hier ständig Mittelwerte angegeben – die halt auf Ausreißer ziemlich empfindlich sind und die Score-Werte sind diskrete Werte (wie z.B. Schulnoten).
„Vorher-Nachher-Vergleich in den Gruppen wurde mit einer Varianzanalyse mit wiederholten Beobachtungen [10] durchgeführt. „
Dabei wurde eine ANOVA (einfaktoriellen) Varianzanalyse mit Messwiederholungen durchgeführt? Hier müssten die Daten normalverteilt und intervallskaliert sein.
Ein weiters
Problem ist das multiple Testen, das hier offensichtlich in der gleichen Stichprobe stattgefunden hat. Dabei kommt es zu einer sogenannten
Alpha-Fehler Kumulierung (d.h. die Wahrscheinlichkeit, dass eine Hypothese fälschlich für wahr gehalten wird obwohl die Nullhypothese gälte, steigt). Um das zu korrigieren müsste z.B. eine False Discovery Rate angewendet werden. Darüber findet sich leider nichts.
Für die Ergebnisbewertung gibt es Parameter, welche helfen die Wertigkeit besser einzuschätzen – hierzu gehören Power und Effektstärke.
Je höher die Power, desto unwahrscheinlicher ist es, dass ein (event. auch kleiner) Effekt (= z.B. sign. Unterschied Mittelwert) übersehen wird. Mit steigender Probandenzahl steigt auch die Power. Dabei wird, bei ausreichend großer Probandenmenge irgendwann jeder noch so geringe Effekt signifikant.
Um die Relevanz, also den praktischen Nutzen eines Effekts einschätzen zu können braucht es die Effektstärke (z.B. Cohen´s d).
Nichts von alledem wird angegeben, man könnte, bei etwas vollständigerem Zahlenmaterial, die Werte post hoc ermitteln. Aber Dr. Nienhaus ist ein Datengeizhals.
Du siehst, schon lange vor der Ergebnisinterpretation stellt sich die Studie als ziemlich fragwürdig vor.
Hätte ich jetzt auch noch Interesse an Bioresonanz, wäre ich wohl ziemlich verärgert über dieses schleißige Vorgehen und würde mich fragen, warum in Gottes Namen man sich diese Arbeit antut, wenn man sie dann so schlecht macht, dass die Ergebnisse für die Tonne sind!
Obwohl, wer weiß wie die Ergebnisse aussehen würden, wenn die Methodik besser wäre.... ein Schelm, der da an vermeidende Absicht denkt....
