MULTIPLE-READER MULTIPLE-CASE ROC
Die Ergebnisse klinischer Studien sind unbedeutend, es sei denn, die Ergebnisse können auf eine Art klinischen Einsatz angewendet werden. Daher muss der Leser bei Brustkrebsdiagnosemodalitäten alle Radiologen repräsentieren, und der Fallsatz muss auch allen Mammogrammen, die in der Klinik erzeugt werden können, sehr ähnlich sein., Es kann unmöglich sein, die volle Variabilität der Mammographie Ergebnisse in Kliniken bundesweit genau zu replizieren. Klinische Studien, die mehr Fallvariationen enthalten, um die diagnostische Genauigkeit einer Modalität zu messen, haben jedoch signifikant mehr klinischen Wert als Studien, die auf geringen Fallvariationen basieren.
Die Variabilität bei Krebserkennungstests besteht aus zwei Hauptkomponenten: Leservariabilität und Fall-Stichprobenvariabilität. Die erste wurde in der Diskussion der ROC-Analyse beschrieben., Letzteres resultiert aus subtilen Unterschieden in Mammogrammen, die, wenn sie das Kontinuum von definitiv aufschlussreichem Krebs bis definitiv nicht aufschlussreichem Krebs überspannen, die Entscheidung eines Lesers beeinflussen können. Methodische Lösungen zur Berücksichtigung dieser Variabilitätsquellen können die Informationsmenge maximieren, die aus Datensätzen gewonnen werden kann.
Die Kombination von ROC-Analyse und einem Studiendesign mit mehreren Lesern und mehreren Fällen bietet eine mögliche Lösung für die Komponenten der Varianz., In der Multiple-Reader Multiple-Case (MRMC) ROC-Analyse interpretieren alle Leser jedes Mammogramm im Fallsatz. Die Leser in einer Studie repräsentieren die vielfältige Leserschaft, die eine bestimmte Technologie verwenden könnte. Die repräsentative Fallpopulation ermöglicht es, die Ergebnisse auf die verschiedenen Brustkrebsfälle zu verallgemeinern, die in landesweiten Kliniken auftreten können. Dies ermöglicht eine Verallgemeinerung signifikanter Befunde auf eine weit verbreitete klinische Praxis.,
Das MRMC-Studiendesign hat gegenüber der Sammlung von ROC-Analysen mit einem Leser mehrere Vorteile, da die MRMC-Analyse ein quantitatives Maß für die Leistung eines Diagnosetests in einer Population von Lesern mit unterschiedlichen Fähigkeiten bietet. Obwohl mehr als ein Leser die Variabilität der Messung erhöht, können MRMC-Studien so konzipiert werden, dass die statistische Stärke der Unterschiede zwischen konkurrierenden Modalitäten größer ist, als wenn nur die Interpretation eines Lesers verwendet wird.,1 Bei der Verwendung der MRMC-Methodik können statistische Modelle verwendet werden, um sowohl die Fallvariabilität als auch die Leservariabilität zu berücksichtigen. Die Ergebnisse einer Studie, in der Leser verschiedene Mammogrammfälle interpretieren, können keine Fall-Stichprobenvariation berücksichtigen. Daher können Einzelleserstudien nur auf die Fälle verallgemeinert werden, die jeder Leser interpretiert. Umgekehrt können die Ergebnisse einer MRMC-Studie sowohl für alle Radiologen als auch für alle Mammogramme verallgemeinert werden.6
Das praktische Ergebnis der MRMC-Methodik spart Zeit und Geld., Das Konzept der Gestaltung von pivotalen Studien unter Verwendung von Ergebnissen aus Pilot-MRMC-Studien bietet die Möglichkeit zur Entwicklung einer Bewertung der bildgebenden Technologie mit einem gewissen Grad an Kohärenz und Kontinuität. MRMC-Studien während der Forschungsphase der Entwicklung von Bildgebungssystemen können die Informationen für Design-und Größenstudien zum Nachweis der Sicherheit und Wirksamkeit liefern, die für die FDA-Zulassung (Food and Drug Administration) erforderlich sind.6 MRMC-Methoden liefern mehr Informationen pro Fall, was sich in kleineren Probengrößen für Versuche niederschlägt. Die Reduzierung der Studiengröße erleichtert die Rekrutierung von Patienten., Kleinere Versuche erfordern auch weniger Geld. Dieses Verfahren kann auch verwendet werden, um klinische Studien zu entwerfen, indem die Größe zukünftiger Studien geschätzt wird. Zum Beispiel basierte die FDA-Zulassung der ersten digitalen Mammographie-Technologie in einer Pilotstudie mit dem MRMC-Paradigma auf nur 44 Brustkrebserkrankungen bei 5 Lesern. Die Ergebnisse dieser Studie können auf eine zentrale Studie mit 200 Krebsarten und 6 Lesern oder 78 Krebsarten mit 100 Lesern verallgemeinert werden.,7 Gemäß den FDA Guidance on Digital Mammography Systems von 2001 sind ROC-Schätzungen, die Unsicherheiten berücksichtigen, ein wesentlicher Bestandteil einer klinischen Studie. Die FDA stellt auch mehrere Methoden vor, die in der Vergangenheit verwendet wurden, um Unsicherheiten in ROC-Schätzungen zu messen; Es wird jedoch angemerkt, dass die MRMC-Methodik der einzige Ansatz ist, der die Leser-und Fallvariabilität berücksichtigt.2 Infolgedessen nutzten bis November 2002 alle erfolgreichen Einreichungen eines Systems für digitale Mammographie bei der FDA das MRMC-ROC-Paradigma.,