Johannes Köbberling

Die Grundlagen der Validierung einfacher, diagnostischer Tests

SummaryThe fundamental terms in the evaluation of diagnostic tests are described and the differences to corresponding test parameters in clinical chemistry are emphasized. The derivation of a two-by two contingency table is explained in detail and basic characteristics of diagnostic tests, i.e. sensitivity and specificity as well as their independence of the prevalence (in the sense of a-priori-probability) is pointed out.The importance of the so-called predictive values is shown graphically, also the problem of selecting a cut-off-level (discrimination value) for the evaluatation of quantitative data. The various attempts to find a single value for the description of a diagnostic test are discussed and it is stressed that there is no principal necessity to use other terms than those mentioned above. Nevertheless it is possible to give a prevalence-independent measure which has some additional advantages in rating and comparing simple diagnostic tests.The fundamental terms in the evaluation of diagnostic tests are described and the differences to corresponding test parameters in clinical chemistry are emphasized. The derivation of a two-by two contingency table is explained in detail and basic characteristics of diagnostic tests, i.e. sensitivity and specificity as well as their independence of the prevalence (in the sense of a-priori-probability) is pointed out. The importance of the so-called predictive values is shown graphically, also the problem of selecting a cut-off-level (discrimination value) for the evaluation of quantitative data. The various attempts to find a single value for the description of a diagnostic test are discussed and it is stressed that there is no principal necessity to use other terms than those mentioned above. Nevertheless it is possible to give a prevalence-independent measure which has some additional advantages in rating and comparing simple diagnostic tests.

Anwendung diagnostischer Tests

Wie an vielen Stellen dieses Buches ausgefuhrt. setzt sich die quantitativ verwertbare diagnostische Information (pradiktiver Wert) aus einem uber und Spezifitat) und der Ausgangswahrscheinlichkeit (A-priori-Wahrscheinlichkeit, Pravalenz) zusammen, Jede diagnostische Masnahme wird also erst sinnvoll in der Zusammensetzung dieser beiden Informationen.

Entstehung von Hypothesen für diagnostische Tests

Vor einer Prufung diagnostischer Tests, mit deren Methodologie und Durchfuhrung sich dieses Buch befast, sollte die Formulierung der zu prufenden Hypothese stehen. Das folgende Kapitel zeigt Mechanismen auf, die zur Entstehung von Hypothesen beitragen konnen.

Die kontrollierte diagnostische Studie (Phase 3)

Studien zur Phase 3 der Evaluierung diagnostischer Verfahren bauen auf den Ergebnissen der Phasen 1 und 2 auf. Nachdem in der Phase 2 die grundsatzliche Eignung eines Laborparameters, eines neuen apparativen Verfahrens oder einer speziellen klinischen Beobachtung als diagnostische Masnahme untersucht wurde, findet in der Phase 3 die eigentliche Evaluierung einer solchen Methode statt.

Kritische Beurteilung publizierter diagnostischer Tests

In medizinisch-klinischen Zeitschriften nehmen Publikationen uber Prufungen von diagnostischen Masnahmen einen breiten Raum ein. Methodische Unzulanglichkeiten sind dabei oft nicht auf den ersten Blick erkennbar. Das methodische Mangel sehr verbreitet sind, konnte kurzlich anhand einer Uberprufung zweier Jahrgange von 4 fuhrenden deutschsprachigen medizinischen Zeitschriften belegt werden [68]. Zur Beurteilung der Validitat der Aussage diagnostischer Studien ist es meist unerlaslich, sich ein genaues Bild uber die angewandte Methodik und die Durchfuhrung der Studie zu machen. Im folgenden soll zusammengestellt werden, welche Einzelfragen hierbei kritisch zu betrachten sind. Diese sind in den verschiedenen Phasen der Evaluierung sehr unterschiedlich. Darum ist es besonders wichtig, sich Klarheit daruber zu verschaffen, auf welcher Stufe der Evaluierung im Sinne der oben dargestellten Phasen 1 – 4 die Studie einzuordnen ist.

Grundlagen der Wahrscheinlichkeitstheorie

In diesem Abschnitt wird die wichtigste Grundlage fur die klinische Entscheidungsfindung diskutiert: die Wahrscheinlichkeit.

Wirksamkeitsprüfung diagnostischer Tests (Phase 4)

In Phase-1- bis Phase-3-Studien werden einzelne Eigenschaften des diagnostischen Tests untersucht. Diese betreffen in Phase-1-Studien etwa biochemische Kenngrosen (z. B. analytische Sensitivitat), in Phase-3-Studien diagnostische Kenngrosen (Sensitivitat und Spezifitat) des Tests bei bestimmten Patientengruppen. Diese Kenngrosen lassen eine Bewertung des diagnostischen Tests zu. Ob diese Eigenschaften jedoch dazu fuhren, das Patienten, bei denen dieser Test eingesetzt wird, einen (therapeutischen) Nutzen von dessen Anwendung erhalten, wird in diesen Phasen nicht untersucht. Mit Phase-4-Studien sollen Aussagen zum therapeutischen Nutzen gewonnen werden.

Allgemeine Aspekte zur Prüfung diagnostischer Tests

Fur Therapieprufungen hat es sich allgemein durchgesetzt, den Prozes der Evaluierung als eine Abfolge einzelner, voneinander getrennter Phasen anzusehen. In den einzelnen Phasen werden verschiedene Aspekte mit unterschiedlicher Methodik und Interpretationsmoglichkeit untersucht. Auch fur die Evaluierung diagnostischer Masnahmen ist eine solche Gliederung als Ordnungsprinzip sinnvoll.

Verzerrungsmöglichkeiten (Bias) bei der Evaluierung diagnostischer Tests

Ergebnisse von medizinisch-klinischen Studien sind nicht als endgultige Aussagen, sondern vielmehr als Grundlage einer Entscheidung mit bestimmten Irrtumsmoglichkeiten anzusehen. Dabei sind zwei verschiedene Fehlerquellen zu berucksichtigen: solche zufalliger und solche systematischer Art. Zufallige Fehler, d. h. die ‘normale’ Variabilitat von Ergebnissen, konnen mit Mitteln der mathematischen Statistik quantifiziert und kontrolliert werden. Sie sollen hier nicht naher betrachtet werden.

Vorklinische Evaluierung (Phase 1)

Der Begriff „Test“ wird in der Medizin in doppeltem Sinne verwendet. Zum einen wird er benutzt, um die Messung eines Merkmals zu bezeichnen, zum anderen wird mit ihm der Hinweis (Indikator) fur eine Erkrankung gleichgesetzt. So ist etwa die Messung des HPL („human-placentar-lactogen“) im mutterlichen Serum zunachst die Bestimmung des Merkmals „HPL-Konzentration im mutterlichen Serum“. Dieses Merkmal kann durch eine Mesmethode (durch einen Test) mehr oder weniger genau bestimmt werden. Die Ungenauigkeit der Messung wird als Mesfehler bezeichnet. Dieser Mesfehler kann in Merkmalsstreuung und Meswertstreuung unterteilt werden. Die Meswertstreuung beinhaltet dabei diejenige Ungenauigkeit, die durch die Mesapparatur hervorgerufen wird. Dieser Teil des Mesfehlers kann durch eine Verbesserung der Apparatur theoretisch beliebig verkleinert werden. Der zweite Teil des Mesfehlers, die Merkmalsstreuung, wird durch die interindividuelle Variation der Werte hervorgerufen. Die Merkmalsstreuung kann nicht beliebig verkleinert werden. Sie sollte innerhalb klinisch gleicher Diagnosegruppen klein sein. Ist die Merkmalsstreuung innerhalb klinisch gleicher Gruppen gros, so bringt eine Verkleinerung der Meswertstreuung keinen Nutzen im Rahmen des diagnostischen Vorgehens.