multiple-READER MULTIPLE-CASE ROC
los hallazgos de los estudios clínicos son insignificantes a menos que los resultados puedan aplicarse a algún tipo de uso clínico. Por lo tanto, en el caso de las modalidades de diagnóstico de cáncer de mama, el lector en el estudio debe representar a todos los radiólogos y el conjunto de casos también debe parecerse mucho a todas las mamografías que se puedan generar en la clínica., Puede ser imposible replicar exactamente la variabilidad completa de los hallazgos de la mamografía en las clínicas de todo el país. Sin embargo, los estudios clínicos que incorporan más variación de casos para medir la precisión diagnóstica de una modalidad tendrán significativamente más valor clínico que los estudios basados en poca variación de casos.
la variabilidad en las pruebas de detección de cáncer tiene dos componentes principales, la variabilidad del lector y la variabilidad de la muestra de casos. El primero fue descrito en la discusión del análisis ROC., Esto último resulta de diferencias sutiles en las mamografías que, cuando abarcan el continuo desde revelar definitivamente el cáncer hasta no revelar definitivamente el cáncer, pueden influir en la decisión del lector. Las soluciones metodológicas para tener en cuenta estas fuentes de variabilidad pueden maximizar la cantidad de información que se puede recopilar a partir de conjuntos de datos.
la combinación del análisis ROC y un diseño de estudio con múltiples lectores y múltiples casos proporciona una posible solución a los componentes de varianza., En el análisis ROC de múltiples lectores de múltiples casos (MRMC), todos los lectores interpretan cada mamografía en el conjunto de casos. Los lectores en un estudio representan a los diversos lectores que podrían utilizar una tecnología específica. La población representativa de casos permite generalizar los hallazgos a los diversos casos de cáncer de mama que pueden aparecer en clínicas de todo el país. Esto permite que los hallazgos significativos se generalicen a la práctica clínica generalizada.,
el diseño del estudio MRMC tiene varias ventajas sobre la colección de análisis ROC de un solo lector porque el análisis MRMC proporciona una medida cuantitativa del rendimiento de una prueba de diagnóstico en una población de lectores con diferentes grados de habilidad. A pesar de que tener más de un lector aumenta la variabilidad en la medición, los estudios de MRMC se pueden diseñar de manera que el poder estadístico de las diferencias entre modalidades competidoras sea mayor que si solo se utiliza la interpretación de un lector.,1 cuando se utiliza la metodología MRMC, se pueden utilizar modelos estadísticos para tener en cuenta tanto la variabilidad de los casos como la variabilidad del lector. Los resultados de un estudio en el que los lectores interpretan diferentes conjuntos de casos de mamografía no pueden explicar la variación caso-muestra. Por lo tanto, los estudios de un solo lector solo pueden generalizarse a los casos que cada lector interpretó. Por el contrario, los resultados de un estudio de MRMC se pueden generalizar a todos los radiólogos, así como a todas las mamografías.6
el resultado práctico de la metodología MRMC es ahorrar tiempo y dinero., El concepto de diseño de estudios pivotales utilizando los resultados de estudios piloto de MRMC ofrece una oportunidad para el desarrollo de la evaluación de la tecnología de imagen con cierto grado de coherencia y continuidad. Los estudios de MRMC durante la fase de investigación del desarrollo del sistema de imágenes pueden proporcionar la información para diseñar y dimensionar los estudios para la demostración de la seguridad y la eficacia requeridas para la aprobación de la administración de alimentos y medicamentos (FDA).6 los métodos de MRMC producen más información por caso, lo que se traduce en tamaños de muestra más pequeños para los ensayos. La reducción del tamaño de los ensayos facilita el reclutamiento de pacientes., Los ensayos más pequeños también requieren menos dinero. Este procedimiento también se puede utilizar para ayudar a diseñar ensayos clínicos mediante la estimación del tamaño de estudios futuros. Por ejemplo, la aprobación de la FDA de la primera tecnología de mamografía digital se basó en solo 44 cánceres de mama en 5 lectores en un estudio piloto utilizando el paradigma de MRMC. Los resultados de este estudio se pueden generalizar a un ensayo fundamental de 200 cánceres y 6 lectores, o 78 cánceres con 100 lectores.,7 de acuerdo con la guía de la FDA de 2001 sobre sistemas de mamografía digital, las estimaciones de ROC que tienen en cuenta las incertidumbres son una parte esencial de un estudio clínico. La FDA también presenta varias metodologías que se han utilizado en el pasado para medir las incertidumbres en las estimaciones de ROC; sin embargo, se observa que la metodología MRMC es el único enfoque que tiene en cuenta la variabilidad del lector y de los casos.2 como resultado, hasta noviembre de 2002, todas las presentaciones exitosas a la FDA de un sistema para mamografía digital utilizaron el paradigma MRMC ROC.,