MULTIPLE-READER MULTIPLE-CASE ROC
I risultati degli studi clinici sono insignificanti a meno che i risultati non possano essere applicati a una sorta di uso clinico. Pertanto, nel caso delle modalità diagnostiche del cancro al seno, il lettore nello studio deve rappresentare tutti i radiologi e il caso deve anche assomigliare strettamente a tutte le mammografie che possono essere generate nella clinica., Potrebbe essere impossibile replicare esattamente la piena variabilità dei risultati della mammografia nelle cliniche a livello nazionale. Tuttavia, gli studi clinici che incorporano più variazioni di caso per misurare l’accuratezza diagnostica di una modalità avranno un valore clinico significativamente maggiore rispetto agli studi basati su piccole variazioni di caso.
La variabilità nei test di rilevamento del cancro ha due componenti principali, la variabilità del lettore e la variabilità del caso-campione. Il primo è stato descritto nella discussione sull’analisi ROC., Quest’ultimo deriva da sottili differenze nelle mammografie che, quando si estende il continuum dal cancro che rivela definitivamente al cancro che non rivela, può influenzare la decisione di un lettore. Le soluzioni metodologiche per tenere conto di queste fonti di variabilità possono massimizzare la quantità di informazioni che possono essere raccolte dai set di dati.
La combinazione di analisi ROC e progettazione di uno studio con più lettori e più casi fornisce una possibile soluzione ai componenti della varianza., Nell’analisi ROC multiple-reader multiple-case (MRMC), tutti i lettori interpretano ogni mammografia nel set di casi. I lettori in uno studio rappresentano i diversi lettori che potrebbero utilizzare una tecnologia specifica. La popolazione caso-set rappresentativo consente di generalizzare i risultati per i diversi casi di cancro al seno che possono apparire in cliniche a livello nazionale. Ciò consente di generalizzare risultati significativi alla pratica clinica diffusa.,
Il design dello studio MRMC presenta diversi vantaggi rispetto alla raccolta di analisi ROC a lettore singolo perché l’analisi MRMC fornisce una misura quantitativa delle prestazioni di un test diagnostico su una popolazione di lettori con vari gradi di abilità. Anche se avere più di un lettore aumenta la variabilità nella misurazione, gli studi MRMC possono essere progettati in modo tale che la potenza statistica delle differenze tra modalità concorrenti sia maggiore rispetto all’utilizzo dell’interpretazione di un solo lettore.,1 Quando si utilizza la metodologia MRMC, è possibile utilizzare modelli statistici per tenere conto sia della variabilità dei casi che della variabilità dei lettori. I risultati di uno studio in cui i lettori interpretano diversi set di casi di mammografia non possono tenere conto della variazione del caso-campione. Pertanto, gli studi su un singolo lettore possono essere generalizzati solo ai casi interpretati da ciascun lettore. Al contrario, i risultati di uno studio MRMC possono essere generalizzati a tutti i radiologi e a tutte le mammografie.6
Il risultato pratico della metodologia MRMC è il risparmio di tempo e denaro., Il concetto di progettazione di studi pivotal utilizzando i risultati di studi pilota MRMC offre un’opportunità per lo sviluppo della valutazione della tecnologia di imaging con un certo grado di coerenza e continuità. Gli studi MRMC durante la fase di ricerca dello sviluppo del sistema di imaging possono fornire le informazioni per progettare e dimensionare studi per la dimostrazione della sicurezza e dell’efficacia richieste per l’approvazione della Food and Drug Administration (FDA).6 I metodi MRMC forniscono maggiori informazioni per caso, il che si traduce in campioni di dimensioni inferiori per le prove. Ridurre le dimensioni degli studi rende più facile reclutare pazienti., Le prove più piccole richiedono anche meno soldi. Questa procedura può anche essere utilizzata per aiutare a progettare studi clinici stimando la dimensione degli studi futuri. Ad esempio, l’approvazione della FDA della prima tecnologia di mammografia digitale era basata su soli 44 tumori al seno su 5 lettori in uno studio pilota che utilizzava il paradigma MRMC. I risultati di questo studio possono essere generalizzati a uno studio pivotal di 200 cancri e 6 lettori, o 78 cancri con 100 lettori.,7 Secondo la guida FDA del 2001 sui sistemi di mammografia digitale, ROC stima che prendere in considerazione le incertezze siano una parte essenziale di uno studio clinico. La FDA presenta anche diverse metodologie che sono state utilizzate in passato per misurare le incertezze nelle stime ROC; tuttavia, si nota che la metodologia MRMC è l’unico approccio che tiene conto della variabilità dei lettori e dei casi.2 Di conseguenza, fino a novembre 2002, tutte le osservazioni di successo alla FDA di un sistema per la mammografia digitale hanno utilizzato il paradigma MRMC ROC.,