Des chercheurs proposent des recommandations pour des dispositifs médicaux intégrant l’IA plus sûrs

Une publication récente dans NEJM AI indique que la sécurité et les performances des dispositifs médicaux intégrant l’IA ne dépendent pas seulement des algorithmes ou des spécifications techniques, mais aussi de la manière dont les personnes utilisent ces dispositifs et applications. Les auteurs indiquent que les exigences réglementaires actuelles en matière d’autorisation n’ont jusqu’à présent traité qu’en partie de nombreux risques liés aux facteurs humains, créant ainsi des lacunes susceptibles d’avoir un impact sur la sécurité et la qualité des soins.

L’analyse a identifié sept risques majeurs et élaboré des recommandations pratiques à l’intention des fabricants et des évaluateurs réglementaires, pouvant être intégrées aux գործընթացus réglementaires et documentaires existants. Ces risques comprennent une mauvaise compréhension ou une mauvaise interprétation des résultats en raison du caractère parfois opaque des systèmes d’IA, une confiance mal calibrée conduisant les utilisateurs à trop s’appuyer sur l’assistance de l’IA ou à ignorer des recommandations pertinentes, le biais d’automatisation, une possible perte de compétences, le technostress chez les utilisateurs, l’extension des indications, ainsi que des erreurs liées aux modifications du système ou à différents modes de fonctionnement.

Le cadre recommande de développer et de déployer les dispositifs médicaux fondés sur l’IA de manière à définir clairement les utilisateurs, le contexte dans lequel les systèmes sont appliqués, ainsi que les tâches attribuées aux humains et celles attribuées au système. Il indique également que les résultats devraient être présentés de manière facile à comprendre, intégrés aux flux de travail cliniques existants, et complétés si nécessaire par une formation ainsi que par des options de repli sûres en cas de défaillance du système.

Les auteurs ont souligné l’importance d’une surveillance continue après la mise sur le marché. Les schémas d’utilisation, les usages inappropriés potentiels ou la dépendance excessive envers les systèmes d’IA devraient être observés de manière systématique et corrigés si nécessaire, et les modifications apportées aux systèmes doivent également être communiquées de façon transparente afin que les processus de travail puissent être ajustés en conséquence.

Les risques plus larges liés à une IA médicale peu fiable sont déjà mesurables. Dans une enquête intersectorielle de 2025, 44% des organisations ont déclaré avoir subi des conséquences négatives liées à l’utilisation de l’IA générative, avec des pertes financières moyennes de $4.4 million par incident. Un article de 2023 dans JAMA Network Open sur les résumés de sortie générés par l’IA a montré que 18% des cas contenaient des informations incomplètes ou trompeuses, tandis que des recherches citées dans la même discussion ont révélé que seulement 39% des personnes vérifient les informations générées par l’IA à l’aide de sources externes.

L’analyse indique que de tels facteurs peuvent créer des charges supplémentaires ou des défaillances inattendues dans la pratique clinique, même lorsque les performances techniques d’un système sont par ailleurs solides. Les recommandations ont été volontairement formulées en termes généraux mais alignés sur la réglementation afin qu’elles puissent être appliquées à différents dispositifs médicaux intégrant l’IA et à divers scénarios d’application, des tests supplémentaires étant prévus au moyen d’applications pilotes concrètes.