¿Cómo evalúa una instalación una herramienta de inteligencia artificial en radiología?

¿Qué tipo de herramienta de inteligencia artificial le están vendiendo?

Hay tres familias y no son intercambiables. Una herramienta de triaje cambia el orden de la lista de trabajo. Una ayuda de detección marca un lugar y le pide a una persona que mire. Una herramienta generativa produce texto o una medida que puede terminar en el informe. El riesgo, la supervisión y los documentos que debe exigir dependen de cuál tiene.

Una herramienta de triaje no dice nada sobre lo que muestra el estudio. Sube un caso en la lista para que una persona lo vea antes. El suplidor lo presenta como ganancia sin costo, porque nada se elimina y no se ofrece interpretación alguna, y de madrugada el argumento resulta atractivo. Lo que no se menciona es el otro extremo de la lista. La lista tiene un largo finito, y un caso que sube empuja otro hacia abajo. Si la herramienta guarda silencio sobre un estudio que importaba, ese estudio se lee más tarde de lo que se habría leído en una fila cronológica sencilla. Pregunte qué ocurre con los casos no marcados, y pregúntele a su propio equipo si alguien notaría un atraso sistemático.

Una ayuda de detección coloca una marca sobre la imagen y devuelve la decisión. El lector la acepta, la ignora o la llama de otro modo. Suena a división de trabajo limpia hasta que uno pregunta a dónde va el desacuerdo. En la mayoría de las instalaciones no va a ninguna parte. El radiólogo descarta el recuadro, firma el informe y la única constancia de que la herramienta se equivocó vive en la memoria de una persona hasta que termina el turno. No llega al suplidor, no llega al comité de calidad, y quien revise el contrato más adelante no tendrá evidencia local con qué discutir. Construya esa captura antes del arranque. Después nadie tiene tiempo de añadirla, y los casos que pudo haber aprovechado ya están firmados.

Con la tercera familia conviene ser más estricto. Una herramienta que llena un campo de medida, redacta una impresión o escribe una oración dentro del informe está produciendo contenido que luego firma un médico. Dónde queda el límite entre apoyo a la decisión y algo más cercano a la interpretación se discute constantemente, y la categoría de mercadeo del suplidor no resuelve esa discusión. Defina localmente qué puede aceptar el lector sin verificación independiente, escríbalo, y confirme que el sistema de informes no venga configurado por defecto en sentido contrario, porque esa configuración inicial es la que va a regir en la práctica.

¿Qué le dice la autorización regulatoria y qué no le dice?

Le dice que un regulador revisó la herramienta para una indicación declarada, en una población declarada y bajo condiciones de uso declaradas, y que el fabricante alcanzó cierto umbral para esa afirmación. No le dice que la herramienta sea buena, que rendirá con sus pacientes, ni que usarla fuera de la indicación autorizada sea problema de otro.

Lea la declaración de indicaciones de uso en lugar del folleto. Esa oración nombra la modalidad, la región anatómica, el papel previsto del programa y con frecuencia la población de pacientes. Indica si la salida es un complemento, si sirve solamente para notificar y si puede usarse como herramienta de lectura primaria. Esa es la oración que manda, y suele ser más corta y más estrecha que la conversación de venta que la rodea. Las instalaciones se meten en problemas cuando compran un dispositivo autorizado para priorizar y luego tratan su silencio como lectura negativa, o cuando corren en un servicio pediátrico una herramienta autorizada en adultos porque el programa no se niega.

Las vías de autorización difieren, y la evidencia detrás de dos productos autorizados puede ser muy distinta. Una puede apoyarse sobre todo en la comparación con un dispositivo ya comercializado más un estudio retrospectivo de rendimiento; otra puede traer un estudio con lectores diseñado para mostrar algo sobre el comportamiento real del radiólogo con la herramienta en pantalla. Ambas son legítimas. No son la misma evidencia, y ninguna equivale a un estudio prospectivo en un sitio parecido al suyo. Pregunte cuál vía aplicó y qué se sometió, en términos llanos, y desconfíe de la respuesta que se detiene en la palabra autorizado.

Después pregunte por las versiones, porque ahí se acumula el problema silencioso. Los modelos se reentrenan. Los umbrales se ajustan. Un suplidor puede instalar una actualización igual que cualquier otro suplidor de sistemas, y la instalación termina corriendo un modelo distinto contra la misma política clínica sin que haya ocurrido una sola reunión. Exija que los cambios de versión se anuncien antes de instalarse, que alguien de su organización apruebe el uso clínico de la versión nueva y que la versión vigente quede registrada junto al caso. Si el contrato no lo dice, lo que rige es el silencio.

¿Con cuáles datos se validó el modelo y se parece esa población a la suya?

Esta es la pregunta que los compradores omiten. Pida la cantidad de sitios, las marcas y configuraciones de los equipos, los protocolos de adquisición, la mezcla de casos, cómo se estableció el estándar de referencia y quién leyó esa referencia. Después pregunte cuántos de esos casos vinieron de un lugar parecido al suyo.

Los conjuntos de prueba se enriquecen con frecuencia con casos positivos para poder medir el rendimiento sin recopilar una cantidad impracticable de estudios. Es práctica corriente, no una falta, y cualquier suplidor competente lo admite si se le pregunta de frente. Lo que se deriva de ahí es aritmética que no aparece en la presentación. La sensibilidad y la especificidad viajan razonablemente bien entre poblaciones. El valor predictivo positivo no, porque depende de cuán común sea el hallazgo en el grupo que se estudia. Una herramienta que luce precisa sobre un conjunto enriquecido puede generar muchísimas alarmas falsas en una población de cernimiento donde el hallazgo es raro, y sus lectores van a sentir esa diferencia en las primeras semanas, mucho antes de que alguien la documente.

El otro desajuste es técnico y resulta más fácil de verificar. Fabricante del equipo, modelo, algoritmo de reconstrucción, grosor de corte, tiempos de contraste, equipo portátil frente a equipo fijo, la estructura de edades de quienes realmente pasan por su departamento: cada uno de esos elementos puede diferir de los sitios de validación de manera relevante. Un modelo construido con estudios de unos pocos centros académicos grandes vio cierto tipo de adquisición, y sus tecnólogos casi siempre le pueden decir en un minuto qué tan lejos quedan de eso sus propios protocolos. Ponga la solicitud por escrito y trate los vacíos como información. Un suplidor que no puede desglosar el rendimiento por sitio ni por equipo le está diciendo algo real sobre cómo se armó la evidencia. Negarse del todo a describir los sitios y los equipos es otra respuesta, y conviene escucharla como tal.

• Cuántos sitios independientes aportaron casos y si alguno se parece al suyo en equipos y mezcla de casos.
• Fabricantes, modelos y protocolos de adquisición con los que se produjeron los estudios de validación.
• Cómo se estableció el estándar de referencia, quién lo estableció y si esos lectores podían ver la salida del modelo.
• Si el conjunto de prueba se enriqueció con casos positivos y cuál era la frecuencia del hallazgo en la población de origen.
• Rendimiento desglosado por subgrupo: edad, sexo, hábito corporal cuando aplique, equipo y sitio.
• Si alguno de los sitios de validación participó también en el desarrollo del modelo.

¿Qué le pasa al rendimiento de la herramienta después del arranque?

Se mueve, y por lo general nadie se entera. Un ajuste de protocolo, un equipo nuevo, otro algoritmo de reconstrucción, un cambio en quién llega al departamento: cualquiera de estas cosas puede alejar al modelo de las condiciones para las que se construyó. El programa sigue produciendo salidas con la misma seguridad. El monitoreo local es lo único que lo detecta.

Así se ve la falla en su forma más común. El equipo de tecnólogos estandariza un corte más fino, o cambia el algoritmo de reconstrucción, por una razón clínica perfectamente válida. El cambio se discute dentro del departamento, se documenta en el manual de protocolos y nunca se le menciona a nadie que esté pensando en el programa. El modelo se ajustó con la configuración anterior. En las semanas siguientes la tasa de marcas se desplaza y, como se desplaza despacio, se lee como un mes tranquilo y no como un problema. Nadie conecta una decisión de protocolo tomada en una reunión con una herramienta de detección discutida en otra. Eso no es descuido. Es lo que pasa cuando la herramienta no tiene un dueño que se siente en ambas salas.

El monitoreo no exige un equipo de ciencia de datos. Exige un número, una gráfica y alguien cuyo trabajo sea mirarla. Siga la tasa de marcas en el tiempo, separada por modalidad y por equipo, y sepa cómo se veía en el primer mes. Muestree en las dos direcciones: estudios marcados contra el informe final, y estudios no marcados contra el informe final, porque la segunda muestra es la que habla de omisiones. Registre el acuerdo del lector si el flujo lo permite. Fije un valor a partir del cual alguien tiene que hacer preguntas, y nombre a ese alguien. Una gráfica que nadie está obligado a leer es decoración.

Decida de antemano quién puede apagarla. Debe ser una función clínica nombrada, con autoridad para suspender el uso de inmediato, no una decisión que espere por un ciclo de compras o por una llamada al suplidor. Escriba junto al nombre las condiciones que activan esa suspensión, para que esa persona no tenga que improvisar bajo presión. Y planifique la caída que tarde o temprano ocurrirá. Una vez que los lectores se acostumbran a que la herramienta esté ahí, su ausencia repentina cambia cómo corre el turno, y el departamento que nunca ha trabajado una noche sin ella lo va a descubrir en la peor noche posible. Eso es una pregunta de flujo de trabajo con respuesta escrita, no un ticket de informática.

¿Cómo le llega la salida al lector y puede el lector ignorarla?

Mire la pantalla real antes de firmar nada. Un recuadro de color grabado sobre las imágenes, una serie aparte, un distintivo en la lista de trabajo y una línea precargada en el informe son cuatro niveles distintos de presión sobre el radiólogo. La pregunta no es si el lector puede discrepar de la herramienta. Es si discrepar le cuesta algo.

El sesgo de automatización corre en dos direcciones, y la segunda es la peligrosa. Una marca visible atrae la mirada hacia el punto señalado y, por el mismo mecanismo, la aleja del resto del estudio. Eso se entiende de una vez. La mitad difícil es el silencio: el lector empieza a tratar la ausencia de marca como tranquilidad, incluso con una herramienta que nunca se diseñó ni se autorizó para descartar nada. La herramienta que acierta casi siempre es justamente la que enseña ese hábito, y se lo enseña más rápido a un lector cansado al final de una lista larga. Ninguna oración de política sobre mantener el juicio independiente sobrevive al contacto con ese efecto. El diseño de la presentación tiene que hacer ese trabajo, y eso incluye los números: un puntaje de confianza impreso con decimales sugiere una precisión que el modelo puede no tener.

Haga las preguntas concretas durante la demostración, con un radiólogo presente. ¿Puede el lector ver el estudio antes de que aparezca cualquier superposición? ¿Se puede apagar y encender esa superposición? ¿La salida se guarda como serie aparte, de modo que las anotaciones nunca contaminen las imágenes diagnósticas? ¿La integración con el informe inserta texto que el radiólogo tiene que borrar para discrepar, o texto que tiene que añadir para concordar? Lo último parece una preferencia de configuración y funciona como política. El texto que hay que borrar es el arreglo que produce informes firmados que nadie pensó firmar. Y ofrézcale al lector un lugar donde registrar el desacuerdo: un campo, dos clics, sin texto libre obligatorio. Sin eso, la única evidencia sobre el comportamiento real de la herramienta en su instalación es un tablero del suplidor construido con la salida de la propia herramienta.

¿Quién responde por un hallazgo omitido cuando la herramienta estaba en el circuito?

El médico que interpreta firma el informe, y eso no cambia porque hubiera un programa en pantalla. Lo que cambia es que ahora existe un segundo conjunto de registros, y alguien lo va a leer después. Defina de antemano cuál es el papel de la herramienta, póngalo por escrito y conserve los documentos que muestran cómo se decidió implementarla.

Lo incómodo es que el mismo registro sostiene dos argumentos espejo. Si la herramienta marcó algo y el lector lo descartó, el registro muestra que se lo señalaron. Si la herramienta no dijo nada y el hallazgo se omitió, la confianza del lector en que el programa estaba de acuerdo no traslada la responsabilidad a ningún lado. Algunas instalaciones compran una herramienta esperando a medias que absorba riesgo. No funciona así, y las cláusulas del suplidor sobre limitación de responsabilidad conviene leerlas con asesoría legal antes de firmar y no después de un incidente. Este artículo es educación general, no consejo médico ni legal.

Lo que protege a una instalación es un expediente de gobernanza ordinario, llevado desde el principio. Quién aprobó la herramienta, con cuál evidencia, para cuáles estudios y con cuáles límites declarados. Qué adiestramiento recibieron los lectores y cuándo. Qué se monitorea y quién lo hace. Existe además un grupo de preguntas sobre datos que suelen contestarse en la conversación de venta y nunca en el contrato: dónde ocurre el procesamiento, quién custodia las imágenes mientras ocurre, cuánto tiempo se retienen y si sus estudios pueden usarse para desarrollar modelos futuros. Lleve esas respuestas al acuerdo con las mismas palabras que el suplidor usó en voz alta.

Un límite sobre este artículo. DLA Imaging no publica en este sitio ningún producto de inteligencia artificial, ninguna afirmación de validación y ninguna afirmación de implementación. Lo anterior describe cómo un comprador evalúa una categoría de programas, no algo que DLA Imaging opere. Si un servicio de lectura o de telerradiología le dice que tiene una herramienta en su flujo, a ese servicio se le exigen los mismos documentos, y usted tiene derecho a verlos antes del primer caso y no después de un problema. La relación con un suplidor y la relación con un servicio profesional no son lo mismo, pero la pregunta documental sí lo es.

• Una declaración escrita del uso previsto en su instalación, con modalidad, región anatómica y las poblaciones para las que se aprueba y para las que no.
• El texto de indicaciones de uso de la autorización, colocado junto a su propia declaración para que cualquier diferencia se vea.
• La evidencia de validación que le entregaron, incluida una nota sobre lo que el suplidor no pudo proveer.
• El plan de monitoreo: qué se mide, quién lo mide, con cuál frecuencia y cuál valor activa una revisión.
• Una función clínica nombrada con autoridad para suspender el uso, más el procedimiento para trabajar sin la herramienta.
• Términos de manejo de datos: dónde ocurre el procesamiento, cuánto se retiene y si sus imágenes pueden servir para desarrollar modelos futuros.
• Control de versiones: cómo se anuncian, se aprueban y se registran las actualizaciones del modelo junto a cada caso.

Fuentes y alcance

• American College of Radiology, orientación profesional sobre la evaluación y el uso clínico de la inteligencia artificial en imágenes médicas
• Radiological Society of North America, educación profesional sobre evaluación y reporte de inteligencia artificial en radiología
• American Association of Physicists in Medicine, orientación profesional sobre desempeño de equipos de imágenes y control de calidad
• DICOM Standards Committee, estándar Digital Imaging and Communications in Medicine
• IHE International, perfiles para el flujo de trabajo de imágenes y la integración de resultados