Pesquisadores traçam orientações para dispositivos médicos com IA mais seguros

Uma publicação recente na NEJM AI afirmou que a segurança e o desempenho de dispositivos médicos habilitados por IA não dependem apenas de algoritmos ou especificações técnicas, mas também de como as pessoas usam esses dispositivos e aplicações. Os autores disseram que os requisitos regulatórios existentes para aprovação, até agora, abordaram apenas parcialmente muitos riscos relacionados a fatores humanos, criando lacunas que podem afetar a segurança e a qualidade do cuidado.

A análise identificou sete riscos principais e desenvolveu recomendações práticas para fabricantes e avaliadores regulatórios que podem ser integradas aos processos regulatórios e de documentação já existentes. Os riscos incluem resultados mal compreendidos ou mal interpretados devido à natureza por vezes opaca dos sistemas de IA, confiança mal calibrada que leva os usuários a depender excessivamente da assistência da IA ou a ignorar recomendações relevantes, viés de automação, potencial perda de habilidades, tecnoestresse entre os usuários, ampliação indevida de indicação, e erros relacionados a mudanças no sistema ou a diferentes modos de operação.

A estrutura recomenda desenvolver e implementar dispositivos médicos baseados em IA de uma forma que defina claramente quem são os usuários, em que contexto os sistemas são aplicados e quais tarefas são atribuídas aos humanos e quais ao sistema. Também afirmou que os resultados devem ser apresentados de modo fácil de entender, integrados aos fluxos de trabalho clínicos existentes e complementados, quando necessário, por treinamento, bem como por opções seguras de contingência em caso de falhas do sistema.

Os autores enfatizaram a importância do monitoramento contínuo após a entrada no mercado. Padrões de uso, potencial uso indevido ou dependência excessiva de sistemas de IA devem ser observados sistematicamente e corrigidos quando necessário, e as mudanças nos sistemas também precisam ser comunicadas com transparência para que os processos de trabalho possam ser ajustados de acordo.

Os riscos mais amplos de uma IA médica não confiável já são mensuráveis. Em uma pesquisa multissetorial de 2025, 44% das organizações relataram ter sofrido consequências negativas do uso de IA generativa, com perdas financeiras médias de US$ 4,4 milhões por incidente. Um artigo de 2023 da JAMA Network Open sobre resumos de alta gerados por IA demonstrou que 18% dos casos continham informações incompletas ou enganosas, enquanto pesquisas citadas na mesma discussão constataram que apenas 39% das pessoas verificam informações geradas por IA usando fontes externas.

A análise afirmou que esses fatores podem criar encargos adicionais ou falhas inesperadas na prática clínica, mesmo quando o desempenho técnico de um sistema em si é robusto. As recomendações foram deliberadamente formuladas em termos gerais, mas alinhados à regulação, para que possam ser aplicadas a diferentes dispositivos médicos habilitados por IA e cenários de aplicação, com testes adicionais planejados por meio de aplicações-piloto concretas.