Signifikanz, Signifikanzniveau

Das Signifikanzniveau (auch Alphaniveau, geschrieben als α), gibt an, wie hoch das Risiko ist, das man bereit ist einzugehen, eine falsche Entscheidung zu treffen. Für die meisten Tests wird ein α-Wert von 0,05 bzw. 0,01 verwendet. 

Wenn für einen Test der gefundene p-Wert kleiner ist als Alpha (p < α), sagt man, das Testergebnis sei statistisch signifikant. Bei einen α-Wert von α=0,01 sagt man, das Testergebnis sei statistisch hochsignifikant. Signifikanz macht eine Aussage darüber, wie wahrscheinlich es ist, dass die Ergebnisse allein durch Zufall zustande gekommen sein können.

Statistische Signifikanz sagt aus, dass die Wahrscheinlichkeit, dass ein Verhältnis zwischen zwei Variablen besteht, sehr hoch ist. Allerdings muss ein statisch signifikantes Ergebnis nicht unbedingt von praktischer Bedeutung sein. Wir können ein statistisch signifikantes Ergebnis haben, aber die Implikationen, die sich daraus ergeben, haben keine praktische Anwendung. Daher müssen Forscher immer prüfen, ob ihre Befunde neben der statistischen Signifikanz auch eine praktische Signifikanz haben.

Warum 5%?

Wie bereits erwähnt, ist das Signifikanzniveau in der Regel auf 5% festgesetzt — warum aber? Warum nicht besser 25% oder 0,05%? Auch wenn α=0,05 wie ein recht willkürlich festgelegter Wert erscheint, steckt dahinter doch eine gewisse Logik. Stellen wir uns einmal vor, das Signifikanzniveau wäre auf α=0,25 bzw. α=0,0005 festgelegt worden. Bei α=0,25 würden wir einen Fehler erster Art bei einem aus vier Fällen tolerieren. Dies ist sehr großzügig, wenn wir tatsächlich noch von Signifikanz sprechen wollen. In einem aus vier Fällen würden wir die Nullhypothese zurückweisen, auch wenn sie in Wirklichkeit wahr ist. Allerdings wäre die Wahrscheinlichkeit, einen Fehler zweiter Art zu begehen(die Nullhypothese wird beibehalten, auch wenn in Wirklichkeit die Alternativhypothese gilt) wesentlich geringer. Bei einem Signifikanzniveau von α=0,25 würden wir also eher die Nullhypothese zurückweisen, sowohl wenn sie wahr ist, als auch wenn sie nicht wahr ist – daher sinkt die Wahrscheinlichkeit, einen Fehler 2. Art zu begehen.

Wie sieht es nun aber aus, wenn wir das Signifikanzniveau auf α=0,0005 festsetzen? Hier sinkt die Wahrscheinlichkeit, einen Fehler 1. Art zu begehen, dramatisch. Nur in einem aus 2.000 Fällen würden wir die Nullhypothese zurückweisen. Das Problem ist, dass auch, wenn wir die Wahrscheinlichkeit, einen Fehler 1. Art zu begehen, stark reduzieren konnten, sich gleichzeitig die Wahrscheinlichkeit, die Nullhypothese nicht zurückzuweisen erhöht, wenn sie nicht stimmt (Fehler 2. Art). Mit einem solch konservativen α-Wert, würden die meisten Studien nicht mehr publiziert werden, da sie nicht mehr statistisch signifikant wären.

Ziel ist es also, einen α-Wert zu finden, bei dem sich die Fehler 1. Art und die Fehler 2. Art etwa die Waage halten. In den meisten Fällen ist dies bei einem Signifikanzniveau von 5% der Fall.

Zitate aus Studien als Beispiel

• […] Damit unterschied sich die wöchentliche Gewichtsabnahme der Verumgruppe (0,220kg/Woche) signifikant von der Gewichtsreduktion in der Placebogruppe (0,094kg/Woche, p<0,05). […]
  Franz, K. (2013). Unterstützung eines Gewichtsreduktionsprogramms durch Coenzym Q10 und Alpha-Liponsäure in micellierter wasserlöslicher Formulierung.
• […] Die Haushaltsgröße ist in den mehrsprachigen Familien signifikant höher und das Nettoäquivalenzeinkommen (NÄE) signifikant niedriger als in den einsprachigen Haushalten. […]
  Ritterfeld, U., Pahnke, B., & Lüke, T. (2013). Vergleich der Mediennutzung ein-und mehrsprachiger Kinder. Computer, 78(9.62), 11-54.
• […] Für Athleten mit medizinischer Betreuung haben medizinische Maßnahmen eine signifikant höhere Relevanz bezüglich der Verbesserung der Belastbarkeit, sowie Steigerung der Leistungsfähigkeit. […]
  Gerbing, K. K., Bientzle, M., Kimmerle, J., & Thiel, A. (2013). Die Nutzung von Komplementär-und Alternativmedizin im Spitzensport. Deutsche Zeitschrift für Sportmedizin, 64(4).