KassandrasRuf
Sehr aktives Mitglied
- Registriert
- 14. Januar 2013
- Beiträge
- 2.648
Ich möchte mich an dieser Stelle (nicht ganz) kurz zum Thema Untersuchungen / Studien äußern
Das Problem mit Studien (ich spreche hier vom medizinischen Bereich) ist nicht einfach die Methodik diese splittet sich in mehrere sehr wichtige Schritte auf.
Natürlich gilt es, je nach Anforderung, vorab das für die Fragestellung richtige Studiendesign auszuwählen (Interventionsstudie, Fall-Kontroll-Studie, Kohortenstudie, Review, Systemic Review...),
aber es sind auch noch einige andere wichtige Dinge VORAB anzugeben:
- klar formulierte Hypothese , die auch eine Null-Hypothese (also Kriterien für das Scheitern) beinhaltet.
-EINEN primären Endpunkt (das klar formulierte, erhoffte Ergebnis)
- Mögliche sekundäre Endpunkte (vermutete andere Effekte; das signifikante Auftreten der sekundären Endpunkte ist KEINE Bestätigung der Studie sondern höchstens Ausgangspunkt für neue Untersuchungen!)
- Dokumentation der Einschluss- u. Ausschlusskriterien für die Probanden (oder bei Syst. Reviews der Studien)
- Probandenanzahl
- Informed Consent der Probanden und Zustimmung der Ethikkommission
- Anmeldung der Studie in einer Studiendatenbank
- Welche statistischen Verfahren werden wie angewendet werden
- Wie erfolgt die Zuordnung der Probanden (randomisiert? Wenn ja, wie?)
- Erfolgt eine Verblindung der Teilnehmer (wenn ja, nur die Probanden? auch die Behandler? auch die Auswerter?)
- Wie schaut es insgesamt mit der Bias-Reduktion aus, wie mit der Berücksichtigung von möglichen Confoundern
- ...
Eine (seriöse) Studie muss währende des GESAMTEN Ablaufs (Planung, Durchführung und Auswertung) vollständig dokumentiert werden.
- Bei der Auswertung stellt sich die wichtige Frage ob alle Probandendaten ausgewertet wurden (Intention to treat) oder nur jene, die bis zum Schluss mitgemacht haben (per protocoll), was bei seriösen Untersuchungen natürlich begründet werden muss und wertvolle Hinweise auf z.B. Nebenwirkungen haben kann.
- Bei Verblindung: wann wurde Entblindet?
- Wurde das statistische Verfahren eingehalten?
- Wurden signif. Belege für den PRIMÄREN Endpunkt gefunden, oder nur welche für sekundäre Endpunkte, oder gar negative Belege?
- Tauchen plötzlich Zusatzannahmen auf? Wird etwas hineininterpretiert, was die Zahlen gar nicht hergeben?
Medizinische ForscherInnen, ÄrztInnen die habilitieren möchten, Pharmaunternehmen, Medizinproduktehersteller u.a. möchten publizierten (Habilitanten müssen es, um die nötigen Impact-Punkte zu erlangen). D.h. das Ziel einer Untersuchungen ist die Veröffentlichung.
Und hier menschelt es natürlich gewaltig (bei Alternativen genauso wie bei Forschern oder Pharmaunternehmen)! Es wurde Geld und Zeit investiert, die Impact-Punkte werden gebraucht, aber auch persönliches Wunschdenken und Eitelkeiten lichtern herum.
Methodisch schwache Untersuchungen werden dann gerne in schwächeren Journalen (nicht Peer-Reviewed, wenig bis keine Expertise, sehr tendenziös-unkritisch und dem eigenen Lager angehörig) veröffentlicht ein Vorwurf, der leider in großem Stil die Alternativen trifft.
Bei schwachen Primären Endpunkten werden die Sekundären Endpunkte aufgebläht und als Ergebnis verkauft, oder (v.a. bei negativen Ergebnissen) gar nicht publiziert, (was bei Medikamenten-Studien immer wieder auftritt), die Auswertung erfolgt (ohne Kommentare) per protocoll...
Allen gemeinsam dürfte die Überinterpretation von Daten sein (und meist im Sinne der eigenen Hypothese
)
Der Publikation-Bias ist ein echtes, großes Problem, da er zu einer erheblichen Verzerrung der Datenlage führt!
Dass die Qualität medizinischer Studien insgesamt gestiegen ist, verdanken wir unter anderem Einrichtungen wie dem Cochrane-Institut, die immer wieder Meta-Analysen und Systemic Reviews durchführen.
Ein weiterer wichtiger Schritt sind die Studiendatenbanken um in einem guten Journal veröffentlichen zu können, ist es mittlerweile Usus, dass die Studie angemeldet sein muss (hier kann man öffentlich die vorher angeführten Punkte nachlesen).
Die Bestrebungen gehen im Moment dahin, dass angemeldete Untersuchungen (unabhängig vom Ergebnis) nach Abschluss veröffentlicht werden müssen.
Jeder, der an einer Studie beteiligt ist und diese veröffentlicht sehen möchte hat in irgendeiner Ausformung persönliche Interessen und alle unterliegen den gleichen (Selbst-)Täuschungs-Effekten. Das halte ich per se nicht für verwerflich. Wichtig für mich ist es, diese Effekte und Fehler in Untersuchungsdesigns so klein wie möglich zu halten.
Ähnlich der Jäger-Beute Beziehung in der Natur und der daraus resultierenden gegenseitig abhängigen Entwicklung ist es auch in der Forscherlandschaft. Kritische Konkurrenz und unabhängige kritische Institutionen verschärfen die Spielregeln und heben ganz allmählich das Niveau von Studien.
Das Problem mit Studien (ich spreche hier vom medizinischen Bereich) ist nicht einfach die Methodik diese splittet sich in mehrere sehr wichtige Schritte auf.
Natürlich gilt es, je nach Anforderung, vorab das für die Fragestellung richtige Studiendesign auszuwählen (Interventionsstudie, Fall-Kontroll-Studie, Kohortenstudie, Review, Systemic Review...),
aber es sind auch noch einige andere wichtige Dinge VORAB anzugeben:
- klar formulierte Hypothese , die auch eine Null-Hypothese (also Kriterien für das Scheitern) beinhaltet.
-EINEN primären Endpunkt (das klar formulierte, erhoffte Ergebnis)
- Mögliche sekundäre Endpunkte (vermutete andere Effekte; das signifikante Auftreten der sekundären Endpunkte ist KEINE Bestätigung der Studie sondern höchstens Ausgangspunkt für neue Untersuchungen!)
- Dokumentation der Einschluss- u. Ausschlusskriterien für die Probanden (oder bei Syst. Reviews der Studien)
- Probandenanzahl
- Informed Consent der Probanden und Zustimmung der Ethikkommission
- Anmeldung der Studie in einer Studiendatenbank
- Welche statistischen Verfahren werden wie angewendet werden
- Wie erfolgt die Zuordnung der Probanden (randomisiert? Wenn ja, wie?)
- Erfolgt eine Verblindung der Teilnehmer (wenn ja, nur die Probanden? auch die Behandler? auch die Auswerter?)
- Wie schaut es insgesamt mit der Bias-Reduktion aus, wie mit der Berücksichtigung von möglichen Confoundern
- ...
Eine (seriöse) Studie muss währende des GESAMTEN Ablaufs (Planung, Durchführung und Auswertung) vollständig dokumentiert werden.
- Bei der Auswertung stellt sich die wichtige Frage ob alle Probandendaten ausgewertet wurden (Intention to treat) oder nur jene, die bis zum Schluss mitgemacht haben (per protocoll), was bei seriösen Untersuchungen natürlich begründet werden muss und wertvolle Hinweise auf z.B. Nebenwirkungen haben kann.
- Bei Verblindung: wann wurde Entblindet?
- Wurde das statistische Verfahren eingehalten?
- Wurden signif. Belege für den PRIMÄREN Endpunkt gefunden, oder nur welche für sekundäre Endpunkte, oder gar negative Belege?
- Tauchen plötzlich Zusatzannahmen auf? Wird etwas hineininterpretiert, was die Zahlen gar nicht hergeben?
Medizinische ForscherInnen, ÄrztInnen die habilitieren möchten, Pharmaunternehmen, Medizinproduktehersteller u.a. möchten publizierten (Habilitanten müssen es, um die nötigen Impact-Punkte zu erlangen). D.h. das Ziel einer Untersuchungen ist die Veröffentlichung.
Und hier menschelt es natürlich gewaltig (bei Alternativen genauso wie bei Forschern oder Pharmaunternehmen)! Es wurde Geld und Zeit investiert, die Impact-Punkte werden gebraucht, aber auch persönliches Wunschdenken und Eitelkeiten lichtern herum.
Methodisch schwache Untersuchungen werden dann gerne in schwächeren Journalen (nicht Peer-Reviewed, wenig bis keine Expertise, sehr tendenziös-unkritisch und dem eigenen Lager angehörig) veröffentlicht ein Vorwurf, der leider in großem Stil die Alternativen trifft.
Bei schwachen Primären Endpunkten werden die Sekundären Endpunkte aufgebläht und als Ergebnis verkauft, oder (v.a. bei negativen Ergebnissen) gar nicht publiziert, (was bei Medikamenten-Studien immer wieder auftritt), die Auswertung erfolgt (ohne Kommentare) per protocoll...
Allen gemeinsam dürfte die Überinterpretation von Daten sein (und meist im Sinne der eigenen Hypothese
)Der Publikation-Bias ist ein echtes, großes Problem, da er zu einer erheblichen Verzerrung der Datenlage führt!
Dass die Qualität medizinischer Studien insgesamt gestiegen ist, verdanken wir unter anderem Einrichtungen wie dem Cochrane-Institut, die immer wieder Meta-Analysen und Systemic Reviews durchführen.
Ein weiterer wichtiger Schritt sind die Studiendatenbanken um in einem guten Journal veröffentlichen zu können, ist es mittlerweile Usus, dass die Studie angemeldet sein muss (hier kann man öffentlich die vorher angeführten Punkte nachlesen).
Die Bestrebungen gehen im Moment dahin, dass angemeldete Untersuchungen (unabhängig vom Ergebnis) nach Abschluss veröffentlicht werden müssen.
Jeder, der an einer Studie beteiligt ist und diese veröffentlicht sehen möchte hat in irgendeiner Ausformung persönliche Interessen und alle unterliegen den gleichen (Selbst-)Täuschungs-Effekten. Das halte ich per se nicht für verwerflich. Wichtig für mich ist es, diese Effekte und Fehler in Untersuchungsdesigns so klein wie möglich zu halten.
Ähnlich der Jäger-Beute Beziehung in der Natur und der daraus resultierenden gegenseitig abhängigen Entwicklung ist es auch in der Forscherlandschaft. Kritische Konkurrenz und unabhängige kritische Institutionen verschärfen die Spielregeln und heben ganz allmählich das Niveau von Studien.
