Kein Test trennt Kranke und Gesunde perfekt — der Cut-off legt fest, welche Fehler man lieber in Kauf nimmt.
Worum geht es hier?
Ein Screening-Test soll Kinder mit ADHS erkennen. Die Testwerte betroffener und unauffälliger Kinder überlappen aber. Wo man auch die Schwelle (Cut-off) setzt, entstehen Fehler: Senkt man sie, erkennt man mehr Betroffene (hohe Sensitivität), schlägt aber auch bei mehr Gesunden fälschlich Alarm (niedrige Spezifität) — und umgekehrt. Wie aussagekräftig ein positives Ergebnis wirklich ist, hängt außerdem davon ab, wie häufig die Störung überhaupt vorkommt. Im Tool vergleichst du einen Eltern-Fragebogen mit der klinischen ADHS-Diagnose als Goldstandard.
So gehst du vor
1. Verteilungen & Cut-off — Lage, Streuung und Größe beider Gruppen einstellen und die Schwelle verschieben (①). 2. Vierfeldertafel & Kennwerte (②) — richtig erkannt, Fehlalarm, verpasst, richtig ausgeschlossen. 3. ROC-Analyse (③) — alle möglichen Schwellen auf einen Blick. 4. Konzepte — Trade-off, prädiktive Werte und Prävalenz.
Worauf achten?
Sensitivität und Spezifität sind Eigenschaften des Tests — unabhängig von der Häufigkeit der Störung. PPV und NPV hängen dagegen stark von der Prävalenz ab und beantworten die Frage für die einzelne Person: Wie verlässlich ist ein positiver oder negativer Befund? Den einen richtigen Cut-off gibt es nicht: Er folgt aus dem Ziel — etwa der Youden-Index (beide Fehlerarten gleich gewichtet) oder ein Kosten-Nutzen-Abgleich, wenn eine Fehlerart teurer ist. Likelihood Ratios (LR+ und LR−) messen die Trennschärfe unabhängig von der Prävalenz.
Zum Ausprobieren
Verschiebe den Cut-off und beobachte, wie Sensitivität und Spezifität gegenläufig reagieren. Verändere dann die Gruppengrößen (und damit die Prävalenz) und sieh, wie stark der PPV schwankt, obwohl der Test derselbe bleibt.
Und danach?
Wie sich die Korrelation von Test und Kriterium auf diese Treffer und Fehler auswirkt, zeigt Diagnostische Validität.
ADHS+ (Merkmalsträger)
μ₊109
σ₊5
n₊100
ADHS− (Nicht-Merkmalsträger)
μ₋90
σ₋15
n₋200
Cut-Off
Schwellenwert102.5
Prävalenz
—
Darstellung
Durchgehendes Beispiel
TGoldstandard: ADHS-Diagnose nach klinischem Interview (DSM-5)XTest: Testwert eines Eltern-ScreeninginstrumentscCut-Off: Testwert-Schwelle für die ScreeningentscheidungADHS+Merkmalsträger: leicht erhöhte TestwerteADHS−Nicht-Merkmalsträger: unauffällige Testwerte
Ab welchem Testwert sollte ein Screening positiv ausfallen — und wie viele Kinder gehen dadurch verloren (FN) vs. wie viele werden unnötig weiterverwiesen (FP)? Verteilungsüberlappung, Prävalenz und Fehlerkosten bestimmen den optimalen Cut-Off.
Sensitivität (SE) = TP / (TP + FN) — Anteil der Kranken, der korrekt als positiv erkannt wird (wenige verpasste Fälle, FN). Spezifität (SP) = TN / (TN + FP) — Anteil der Gesunden, der korrekt ausgeschlossen wird (wenige Fehlalarme, FP). Bei überlappenden Verteilungen ist beides zugleich nicht maximierbar: ein niedrigerer Cut-Off hebt SE und senkt SP — und umgekehrt. Welche Seite wichtiger ist, entscheiden die klinischen Konsequenzen.
Die ROC-Kurve trägt Sensitivität gegen 1−Spezifität für alle Cut-Offs auf. Ein perfekter Test läuft durch die linke obere Ecke (0,1), reines Raten entspricht der Diagonalen. Die AUC fasst die Trennschärfe cut-off-unabhängig in einer Zahl zusammen (0.5 = Zufall, 1.0 = perfekt). Je weiter die Verteilungen auseinanderliegen und je schmaler sie sind, desto höher die AUC.
Prädiktive Werte & Prävalenz
PPV = TP / (TP + FP) und NPV = TN / (TN + FN) beantworten die Frage für die konkrete Person: Wie verlässlich ist ein positiver bzw. negativer Befund? Sie hängen — anders als SE und SP — stark von der Prävalenz ab: Bei seltener Störung wird der PPV selbst bei gutem Test niedrig, weil unter vielen Gesunden schon wenige Prozent Fehlalarme (FP) die wenigen echten Fälle überwiegen. Prävalenzform: PPV = (SE·Präv) / (SE·Präv + (1−SP)·(1−Präv)).
Likelihood Ratios
LR+ = SE/(1−SP) und LR− = SP/(1−SE) sind prävalenzunabhängige Maße der Trennschärfe. Sie sind hier bewusst so definiert, dass bei beiden je höher, desto besser gilt: LR+ stützt die Diagnose bei positivem, LR− schließt sie aus bei negativem Befund. Die in vielen Quellen übliche Variante LR− = (1−SE)/SP ist der Kehrwert — nötig zur Umrechnung in Odds (Post-Odds = Prä-Odds · LR), aber interpretativ weniger eingängig (dort gilt „je kleiner, desto besser"). Achte deshalb immer auf die verwendete Definition.
Den Cut-Off wählen
Es gibt nicht den richtigen Cut-Off — er folgt aus dem Ziel: Youden-Index (max SE+SP−1, gleichgewichtet), Kosten-Nutzen (eine Fehlerart teurer → Cut-Off verschieben), Missklassifikationskosten (prävalenzgewichteter Gesamtfehler) oder prädiktiv (max PPV/NPV). Probier die Methoden im ROC-Panel durch und übernimm den Cut-Off.
Eigenschaft vs. Nutzen
SE und SP sind Eigenschaften des Tests — prävalenzunabhängig und auf andere Populationen übertragbar. PPV/NPV sind dagegen situationsabhängig. In Selektionssituationen heißt der PPV Erfolgsquote — dieselbe Größe, anderes Anwendungsfeld. → Diagnostische Validität · → Taylor-Russell-Tafeln
Sensitivität & Spezifität — Hilfe
Beispiel
Ein Eltern-Screening-Instrument soll ADHS-betroffene Kinder von unauffälligen Kindern unterscheiden. Wir wollen den Test erst prüfen — die Lage und Streuung der Verteilungen sind zunächst unbekannt und werden über die Schieberegler exploriert. Ein klinisches Interview nach DSM-5 dient als Goldstandard. Gesucht: der optimale Cut-Off c für die Testentscheidung.
Die Verteilungen überlappen sich — kein Cut-Off ist fehlerfrei. Bei c=105: Kinder mit einem Testwert ≥ 105 werden als positiv gescreent (T=1), alle anderen als negativ (T=0).
Sensitivität (SE) = Anteil der tatsächlich ADHS+ Kinder, die korrekt als positiv erkannt werden (TP-Rate). Hohe SE → wenige verpasste Diagnosen (FN). Senkung des Cut-Offs erhöht SE, senkt Spezifität.
SE = TP / (TP + FN)
Spezifität (SP) = Anteil der tatsächlich ADHS− Kinder, die korrekt ausgeschlossen werden (TN-Rate). Hohe SP → wenige Fehlalarme (FP). Erhöhung des Cut-Offs steigert SP, senkt Sensitivität.
SP = TN / (TN + FP)
Im Beispiel: Bei überlappenden Verteilungen ist eine perfekte Trennung unmöglich — der Trade-off ist unvermeidlich und hängt von klinischen Prioritäten ab.
PPV (positiver prädiktiver Wert) = P(ADHS+ | Test+): Wie wahrscheinlich ist die Diagnose bei positivem Test? Stark prävalenzabhängig: bei seltener ADHS (Prävalenz 5%) sinkt PPV stark — viele FP unter wenigen echten Positiven.
NPV = P(ADHS− | Test−): Wie sicher ist ein negativer Befund? Im Beispiel: bei hoher Sensitivität und moderater ADHS-Prävalenz ist ein negatives Ergebnis sehr verlässlich.
Likelihood Ratios:LR+ = SE/(1−SP) — wie viel wahrscheinlicher ist ein positives Ergebnis bei ADHS+ als bei ADHS−? LR− = SP/(1−SE) — wie viel wahrscheinlicher ist ein negatives Ergebnis bei ADHS− als bei ADHS+? (Hier bewusst so herum, damit wie bei LR+ „je höher, desto besser" gilt; die Standardvariante (1−SE)/SP ist der Kehrwert.) LR sind prävalenzunabhängig.
Die ROC-Kurve zeigt Sensitivität gegen 1−Spezifität für alle möglichen Cut-Offs. Ein perfekter Test verläuft durch den Punkt (0,1): SE=1, 1−SP=0. Eine diagonale Kurve entspricht Raten.
Die AUC (Area Under the Curve) fasst die Gesamttrennschärfe in einer Zahl zusammen (0.5=Zufall, 1.0=perfekt). AUC ist unabhängig vom gewählten Cut-Off — je weiter die Verteilungen auseinanderliegen und je schmaler sie sind, desto höher die AUC.
Optimale Cut-Off-Methoden
Youden-Index (Youden, 1950): Maximiert SE + SP − 1. Standardwahl ohne spezifische Annahmen, behandelt FP und FN gleichwertig, kein Prävalenzeinfluss. Bei normalverteilten Gruppen liegt der optimale Cut-Off in der Mitte zwischen den Verteilungsmittelpunkten — variierbar über die Schieberegler.
Kosten-Nutzen: Sinnvoll wenn eine Fehlerart klar teurer ist. Im Screening-Beispiel: Eine verpasste ADHS-Diagnose (FN) kann langfristig kostspielig sein — niedrigerer Cut-Off, höhere SE bevorzugt. Der Faktor c = Kosten(FP)/Kosten(FN) steuert direkt: c<1 → FN teurer → cut-off sinkt.
Missklassifikationskosten: Bezieht die Prävalenz ein — populationsgewichteter Gesamtfehler. Bei seltener ADHS (5%) fallen FP-Fehler häufiger an; das Modell schiebt den Cut-Off nach oben (mehr SP).
Prävalenz-adjustiert (PPV/NPV): Wenn Kommunizierbarkeit entscheidend ist. PPV maximieren: bei invasiver Folgeuntersuchung soll ein positiver Befund verlässlich sein. NPV maximieren: bei ernsthafter Erkrankung soll ein negatives Ergebnis sicher ausschließen.