Data Dredging — MethodsLab

Wer lange genug in Daten sucht, findet immer etwas „Signifikantes“ — auch wenn nur Zufall im Spiel ist.

Worum geht es hier?

Bei jedem einzelnen Test besteht bei α = 5 % eine kleine Chance auf einen Fehlalarm. Testet man 20 Zusammenhänge, ist mit 64 % Wahrscheinlichkeit mindestens ein Fehlalarm dabei. Alle Daten in diesem Tool sind reines Rauschen — trotzdem tauchen „Treffer“ auf. Wer sich danach eine passende Theorie ausdenkt (HARKing) oder in einer Regression nur die „signifikanten“ Zufallsvariablen behält, erhält ein beeindruckendes Modell, das bei neuen Daten sofort zusammenbricht.

So gehst du vor

1. Data Dredging — Stelle die Anzahl der Tests m, die Stichprobengröße n und α ein. Sieh dir die Bilanz der Tests (①) und alle einzelnen Tests (②) an, schalte die Bonferroni-Korrektur zu und beobachte HARKing (③).
2. Stepwise (Freedman) — das R² im Trainingsset vs. in neuen Daten (①) und was von jedem „gewählten“ Prädiktor übrig bleibt (②).
3. Konzepte — multiple Vergleiche, HARKing und Gegenmittel (Präregistrierung, Korrektur, Replikation).

Worauf achten?

Die Fehlalarme summieren sich: Bei m unabhängigen Tests liegt die Wahrscheinlichkeit für mindestens einen Fehlalarm bei 1 − (1 − α)^m — schon bei m = 14 über 50 %. Bonferroni verschärft dafür die Schwelle auf α/m.
HARKing ist zirkulär: Die Hypothese entsteht aus genau den Daten, die sie belegen soll.
Stepwise-Auswahl auf Rauschen liefert „signifikante“ Prädiktoren und ein hohes R², das auf neuen Daten verschwindet (Freedmans Paradox).

Zum Ausprobieren

Drehe m hoch und beobachte, wie viele Treffer in reinem Rauschen entstehen — dann schalte die Bonferroni-Korrektur zu. Vergleiche im Stepwise-Modul das R² im Training mit dem in neuen Daten.

Und danach?

Selbst ein einzelner, vorab geplanter Test kann bei großem n in die Irre führen: Lindley's Paradox zeigt, warum Signifikanz und Bayes-Evidenz auseinanderlaufen können.

📋 Die Angel-Expedition

Du suchst Korrelate von Lebenszufriedenheit und testest dutzende Variablen (Schokolade, Sternzeichen, Schuhgröße …) — alle in Wahrheit unabhängig. Bei genug Tests leuchten einige rot auf: „signifikant". Frage: Sind das Entdeckungen? Dreh an m und schau, was die Formel sagt.

① Bilanz der Tests

Tests durchgeführt

—

Signifikant (p<α)

—

„Zufallstreffer"

Erwartet per Zufall

—

α · m

P(≥1 Fehlalarm)

—

1−(1−α)^m

—

② Alle Tests (rot = „signifikant")

③ HARKing — aus Rauschen eine Geschichte machen

Konzepte

Multiple Vergleiche

Jeder Test hat bei α=.05 eine 5-%-Fehlalarm-Chance. Bei m Tests: P(≥1)=1−(1−α)^m. Schon bei m=14 über 50 %. „Such lange genug, dann findest du etwas."

HARKing

Hypothesizing After the Results are Known: erst das Zufallsergebnis, dann die „Theorie" dazu. Klingt plausibel, ist aber zirkulär — die Hypothese wurde aus genau den Daten geboren, die sie belegen soll.

Freedman's Paradox

Schrittweise Variablenauswahl auf Rauschen liefert „signifikante" Prädiktoren und ein hohes R² — das auf neuen Daten verschwindet. Überanpassung an Zufallsmuster (Freedman 1983).

Gegenmittel

Präregistrieren, für multiples Testen korrigieren (Bonferroni/FDR), explorativ ≠ konfirmatorisch, und an unabhängigen Daten replizieren. Dieselbe Falle lauert bei Modifikationsindizes im Strukturgleichungsmodell (SEM), wenn man das Modell post-hoc datengetrieben statt theoriegeleitet anpasst. → Lindley's Paradox

Data Dredging — such lange genug, dann findest du etwas