Investigadores trazan una guía para dispositivos médicos con IA más seguros

Una publicación reciente en NEJM AI señaló que la seguridad y el rendimiento de los dispositivos médicos habilitados por IA no dependen solo de los algoritmos o de las especificaciones técnicas, sino también de cómo las personas utilizan estos dispositivos y aplicaciones. Los autores afirmaron que los requisitos regulatorios existentes para la aprobación hasta ahora solo han abordado parcialmente muchos riesgos relacionados con factores humanos, lo que crea vacíos que pueden afectar la seguridad y la calidad de la atención.

El análisis identificó siete riesgos clave y elaboró recomendaciones prácticas para fabricantes y evaluadores regulatorios que pueden integrarse en los procesos regulatorios y de documentación ya existentes. Los riesgos incluyen que los resultados se malinterpreten debido a la naturaleza a veces opaca de los sistemas de IA, una confianza mal calibrada que lleva a los usuarios a depender en exceso de la asistencia de la IA o a ignorar recomendaciones pertinentes, el sesgo de automatización, la posible pérdida de competencias, el tecnoestrés entre los usuarios, la ampliación de la indicación, y los errores relacionados con cambios del sistema o con distintos modos de funcionamiento.

El marco recomienda desarrollar e implementar dispositivos médicos basados en IA de una manera que defina claramente quiénes son los usuarios, en qué contexto se aplican los sistemas y qué tareas se asignan a los humanos y cuáles al sistema. También señaló que los resultados deben presentarse de forma fácil de entender, integrarse en los flujos de trabajo clínicos existentes y complementarse, cuando sea necesario, con formación y con opciones de respaldo seguras en caso de fallos del sistema.

Los autores subrayaron la importancia de una vigilancia continua tras la entrada al mercado. Los patrones de uso, el posible uso indebido o la dependencia excesiva de los sistemas de IA deben observarse de forma sistemática y corregirse cuando sea necesario, y los cambios en los sistemas también deben comunicarse con transparencia para que los procesos de trabajo puedan ajustarse en consecuencia.

Los riesgos más amplios de una IA médica poco fiable ya son medibles. En una encuesta intersectorial de 2025, el 44% de las organizaciones informó haber experimentado consecuencias negativas por el uso de IA generativa, con pérdidas financieras medias de $4,4 millones por incidente. Un artículo de 2023 en JAMA Network Open sobre resúmenes de alta generados por IA demostró que el 18% de los casos contenía información incompleta o engañosa, mientras que investigaciones citadas en la misma discusión hallaron que solo el 39% de las personas verifica la información generada por IA utilizando fuentes externas.

El análisis indicó que estos factores pueden generar cargas adicionales o fallos inesperados en la práctica clínica incluso cuando el rendimiento técnico del propio sistema es sólido. Las recomendaciones se formularon deliberadamente en términos generales, pero alineados con la regulación, para que puedan aplicarse a distintos dispositivos médicos habilitados por IA y escenarios de aplicación, con nuevas pruebas previstas mediante aplicaciones piloto concretas.