Willkommen im grössten und ältesten Esoterik-Forum!
Hier findest Du alles zu Astrologie, Lenormand und Tarot, Karten legen, Feng-Shui, Traumdeutung, Religion und Spiritualität, Engel, Familien-Aufstellung, Gesundheit, Reiki
Registriere Dich kostenlos, dann kannst du eigene Themen verfassen und siehst wesentlich weniger Werbung

GWUP-Test beinahe bestanden

Dieses Thema im Forum "Wissenschaft und Spiritualität" wurde erstellt von Hellequin, 1. August 2015.

  1. Joey

    Joey Sehr aktives Mitglied

    Registriert seit:
    18. Mai 2005
    Beiträge:
    24.335
    Ort:
    ursprünglich mal Hamburg
    Werbung:
    Nachtrag: Ich habe die Wahrscheinlichkeit für die geforderten 40 oder mehr Treffer bei 50 Versuchen und einer Einzel-Trefferwahrscheinlichkeit von 0,5 ausgerechnet. Ich komme auf etwa 1:83817.
    36 Treffer entsprechen nach meinen Berechnungen einem p-Wert von 0,0013 also einer Chance von etwa 1:769.

    Ein 5er im Lotto hat die Wahrscheinlichkeit von 1:54201.

    Die Messlatte der GWUP - der Alpha-Wert - scheint hier also doch höher als 10^-10 zu sein.

    Vielleicht kann jemand anderes auch mal rechnen und meine Werte entweder bestätigen oder anmerken, dass er/sie etwas anderes raus hat.
     
  2. Zimmer72

    Zimmer72 Guest

    Vielen Dank für deine Antwort, @Joey.

    Die 5% waren ein Beispiel, natürlich sind je nach Fachbereich auch noch andere Werte üblich. Noch ein Beispiel: In der empirischen Sozialforschung verwendet man üblicherweise für Alpha 0.05 (= 5%) oder 0.01 (= 1%). Aber es sind auch hier, sogar innerhalb dieses Forschungsbereichs andere Werte denkbar. Worauf es bei der Wahl des Alpha-Wertes ankommt, hast du ja schon richtig angemerkt.

    Wie ich im letzten Post schon ausgeführt habe, wählt die GWUP üblicherweise einen sehr niedrigen Alpha-Wert 10^-10 (= 0.0000000001).

    Beleg meiner Behauptung:
    Quelle: http://www.gwup.org/images/stories/pdf/themen/gwup-teststatistik.pdf

    Das ist in der normalen Wissenschaft nicht üblich. Die GWUP liefert aber auch eine Erklärung, welche die Wahl dieses niedrigen Alpha-Wertes rechtfertigt (Zitat aus dem gesetzten Link):


    Speziell der GWUP geht es also primär darum zu verhindern, dass sie einem Kandidaten irrtümlich den von ihnen angesetzten Preis bezahlen müssen und nicht nur um wissenschaftliche Aussagen.


    Auf diesen Abschnitt meines Postes...

    antwortest du...

    Zunächst muss ich darauf hinweisen, dass ich den Alpha-Wert und den p-Wert getrennt erläutert habe und lediglich beim Alpha-Wert die Irrtumswahrscheinlichkeit erwähne. (Siehe #19)

    Du hast mich jetzt aber etwas verunsichert, denn es kann ja sein, dass ich völlig daneben liege. Ich habe deswegen mal in einem meiner Fachbücher nachgeschaut. Das gilt jetzt aber nur für die empirische Sozialforschung, vielleicht ist es ja in der Physik anders?:

    Üblicherweise wählt man für α eine geringe Wahrscheinlichkeit, z. B. 0,05 oder 0,01. Erst wenn es relativ unwahrscheinlich ist, dass die in der Stichprobe gefundene Differenz zufällig auftritt trotz Nichtexistenz eines Unterschieds in der Population, wird man H0* verwerfen und die Alternativhypothese akzeptieren. Man nimmt also bewusst den Irrtum in Kauf, dass H0 fälschlicherweise abgelehnt wird. Diese Irrtumswahrscheinlichkeit ist α.

    *Anmerkung von mir: mit H0 ist die Nullhypothese gemeint.

    Auf der folgenden Seite wird ein Beispiel genannt, welche Schritte beim Signifikanztest gemacht werden:

    [...]

    Schritt 3: Festlegung von α

    Wir wählen ein Signifikanzniveau (Irrtumswahrscheinlichkeit) von α = 0,05.

    […]

    Quelle: Diekmann, Andreas: Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. 4. Auflage, Hamburg 2010, S. 706f.

    Aus dem Zitierten geht hervor, dass der Alpha-Wert als das „Signifikanzniveau“ und alternativ auch explizit als die „Irrtumswahrscheinlichkeit“ bezeichnet wird. Zudem wird er „gewählt“, also festgesetzt.

    Der Alpha-Wert soll einfach sicherstellen, dass die Wahrscheinlichkeit, die Nullhypothese irrtümlicherweise zu verwerfen, gering ist. Bezogen auf den aktuellen Psi-Test soll also die Wahrscheinlichkeit, dass Herr Textor den Test besteht, obwohl er die paranormalen Fähigkeiten nicht besitzt, sondern rein zufällig richtige Angaben macht, möglichst gering gehalten werden.

    Anders ausgedrückt: Die Wahrscheinlichkeit einen Fehler 1. Art zu begehen, soll möglichst gering gehalten werden. Damit diese Wahrscheinlichkeit gering gehalten werden kann, bedarf es eines Schwellenwerts, der die maximal zulässige Irrtumswahrscheinlichkeit festlegt.

    Mit „Fehler 1. Art“ ist hier konkret gemeint, dass die Nullhypothese "Herr Textor verfügt über keine paranormalen Fähigkeiten." verworfen wird und man die Alternativhypothese "Herr Textor verfügt über paranormale Fähigkeiten." annimmt. Aber in Wirklichkeit verfügt Herr T. über keine paranormalen Fähigkeiten, sondern hat nur zufällig ein so gutes Ergebnis erzielt.

    Kannst du bitte den Inhalt beider Sätze konkret auf den vorliegenden PSI-Test anwenden?
    In etwa so, wie ich die ganze Zeit meine abstrakten Ausführungen auf den vorliegenden Test anwende. Das würde verhindern, dass ich dich an der ein oder anderen Stelle evtl. missverstehe. Danke. :)
     
  3. Joey

    Joey Sehr aktives Mitglied

    Registriert seit:
    18. Mai 2005
    Beiträge:
    24.335
    Ort:
    ursprünglich mal Hamburg
    Ja, in dem Link steht diese Zahl. Meine Berechnungen ergeben allerdings, dass die geforderte Schwelle 40 von 50 Treffern einen wesentlich höheren Alpha-Wert entsprechen würde. Entweder ich habe mich da verrechnet, oder die GWUP ist von den strengen Kriterien etwas abgewichen. nach meinen Berechnungen würde eine Alpha-Wert von 10^-10 bedeuten, dass 47 oder mehr von 50 Treffern gefordert wären.

    Wo ist da der Unterschied? Es geht darum, falsch-positive Ergebnise zu verhindern.

    Schon klar. Aber das ist nicht als die Irrtumswahrscheinlichkeit zu deuten (was allerdings in den Wissenschaften gerne fälschlicherweise geschieht).

    Nehmen wir zwei Urnen - Urne A und urne B - mit jeweils 1000 Zettelchen mit statistisch überprüfbaren Behauptungen drauf. In Urne A wissen wir, dass es plausible Behauptungen sind und 90% aller Behauptungen wahr sind. In urne B sind unplausible Behauptungen drin, und nur 10% sind wahr. Nehmen wir weiter an, dass alle wahren Behauptungen auch als wahr erkannt werden - das ist eine kleine Vereinfachung, wenn man falsch-negative Behauptungen aber in der folgenden Rechnung noch mit berücksichtigen würde, würde das an dem Fazit der Berechnung nichts ändern. Für dieses Beispiel wählen wir jetzt ein Alpha-Wert von 5%. Das bedeutet allerdings auch, dass 5% aller falschen Behauptungen ein falsch-positives Ergebnis - durch Zufall - bekommen.

    In Urne A haben wir 900 wahre und 100 falsche Behauptungen. Von den 900 wahren werden alle erkannt, von den 100 falschen Behauptungen bekommen 5 ein falsch-positives Ergebnis (also ein p-Wert kleiner als der Alpha-Wert). Wer sehen also 905 Behauptungen, die ein positives Ergebnis haben. Irrtumswahrscheinlichkeit 5/905 bzw. etwa 0,005.

    In Urne B haben wir 100 wahre Behauptungen, die alle erkennt werden und 900 falsche, von denen aber 45 ein falsch positives Ergebnis bekommen. Insgesammt sehen wir 145 positive Ergebnisse. Irrtumswahrscheinlichkeit 45/145 oder in etwa 0,31.

    Um die Irrtumswahrscheinlichkeit zu ermitteln, also die Wahrscheinlichkeit im Falle eines positiven Ergebnisses, dass es falsch-positiv war, benötigen wir auch die a priori Wahrscheinlichkeit. In unserem Beispiel mit den Urnen war diese Gegeben (90% und 10%). In der Realität haben wir sie in der Regeln nicht. Man kann nur über die Plausibilität in etwa sagen, ob es "wahrscheinlich" oder "unwahrscheinlich" ist, aber nicht genau quantifizieren.

    Das meine ich, wenn ich sage, man das p-Wert und Alpha-Wert nicht mit der Irrtumswahrscheinlichkeit verwechseln, und nicht überzubewerten. Als alleinige Messlatte bietet der p- und Alphawert einen Vorteil gegenüber unplausiblen Behauptungen (siehe Urne B).

    Als Quelle verweise ich nochmal auf den Artikel "Der Fluch des p-Werts" in Spektrum der Wissenschaft Ausgabe 9/2014. Desweiteren gibt es ein Buch, welches auch diese Thematik aufgreift: "Der Schein der Weisen" von Hans-Peter Beck-Bornholdt und Hans-Hermann Dubben. Die Autoren ziehen das Fazit, dass das aktuel meist verwendete Studien-Design absolut ungeeignet wäre. Dieses strenge Fazit ziehe ich nicht. Aber man muss halt im Hinterkopf behalten, dass p- und Alpha-Wert alleine als Messlatte keine gute Entscheidungsgrundlage bietet.
     
    Zimmer72 gefällt das.
  4. Zimmer72

    Zimmer72 Guest

    Der p-Wert für das tatsächlich erzielte Ergebnis: 0.001301
    (n= 50; k= 36; p= 0.5)

    Der p-Wert für das geforderte Ergebnis, um den Test zu bestehen: 0.000012
    (n= 50; k= 40; p= 0.5)

    Ab 40 Treffer wird der p-Wert kleiner als α.

    Zur Erinnerung:

    Die Nullhypothese wird verworfen, wenn p α.

    Die Nullhypothese wird beibehalten, wenn p > α.


    Es sieht aber so aus, als ob 10^-10 tatsächlich nicht verwendet wurde. Hmmm....
    Ich bin ja fast geneigt die GWUP deswegen mal anzuschreiben. Na mal schauen. :D
     
  5. Joey

    Joey Sehr aktives Mitglied

    Registriert seit:
    18. Mai 2005
    Beiträge:
    24.335
    Ort:
    ursprünglich mal Hamburg
    Ja, das deckt sich mit meinen Zahlen. Und ein Alpha-Wert von 10^-10 wird erst für 47 oder mehr Treffer von 50 Versuchen unterboten.
     
  6. Zimmer72

    Zimmer72 Guest

    Werbung:
    Meine detaillierte Ausführung sollte lediglich tranzparent machen, wie die GWUP ihren niedrigen Alpha-Wert rechtfertigt. Natürlich gibt es ansonsten bezogen auf die Funktion des Alpha-Wertes keinen Unterschied.

    Und danke für dein Beispiel, jetzt weiß ich zumindest was du meinst. Es ändert aber nichts an der Tatsache, dass der Alpha-Wert das Signifikanzniveau ist und in der gängigen Praxis gewählt bzw. festgesetzt wird. Auch meine Beschreibung der Funktionsweise des Alpha-Wertes widerspricht deiner Ausführung nicht. :)


    Ich habe "Spektrum der Wissenschaft" nicht abboniert, daher kann ich den Artikel leider nicht lesen.
    Das Buch "Schein der Weisen" klingt interessant. Ich werds mal auf meine Leseliste setzen.
     
    Joey gefällt das.
  7. Zimmer72

    Zimmer72 Guest

    Entweder hat sich beim Verfassen des Textes, den ich verlinkt habe, ein Fehler seitens der GWUP eingeschlichen oder sie haben tatsächlich die Anforderungen etwas runtergeschraubt.
    Na wie auch immer, es bleibt spannend.
     
    Joey gefällt das.
  8. Joey

    Joey Sehr aktives Mitglied

    Registriert seit:
    18. Mai 2005
    Beiträge:
    24.335
    Ort:
    ursprünglich mal Hamburg
    Ja, wenn die den Alpha-Wert auf 5% setzen würden, müssten sie das Preisgeld an etwa jeden zwanzigsten Kandidaten auszahlen.

    Ja, es ist gängige Praxis, und da spricht meiner Ansicht nach auch nichts dagegen, es weiter so zu handhaben. Es ist ein relativ einfgacher und praktikabler Weg. Man darf die Ergebnisse nur nicht überbewerten, und ein signifikantes Ergebnis ist noch kein Beweis. U.a. darum ist die Reproduzierbarkeit so wichtig.

    Ein weiterer Punkt sind natürlich auch methodische Mängel. Z.B., dass der Kandidat (unbewusst) hören kann, ob Wasser oder Druckluft durch den Schlauch strömt. Und auch danach müssen positive Ergebnisse in Reproduktionen abgeklopft werrden.

    Das auf jeden Fall :)
     
  9. Joey

    Joey Sehr aktives Mitglied

    Registriert seit:
    18. Mai 2005
    Beiträge:
    24.335
    Ort:
    ursprünglich mal Hamburg
    Auf Facebook gibt es eine Stellungnahme vom Versuchsleiter Rainer Wolf: https://www.facebook.com/gwup.org/posts/10153517119758784

    Bei einer derartigen Kombination aus zwei Tests kommt das auch mit Alpha = 10^-10 als zu unterbietende Messlatte in etwa hin.
     
    Zimmer72 gefällt das.
  10. Zimmer72

    Zimmer72 Guest

    Werbung:
    Wiederholungstest und zweiter Testabschnitt ergeben einen p-Wert von 0.000 000 001 1
    (n= 110; k= 86; p= 0.5)

    Ja, kommt in etwa hin.

    Danke für den Link. :)
     
Die Seite wird geladen...

Diese Seite empfehlen

  1. Diese Seite verwendet Cookies. Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden