연구진, 더 안전한 AI 기반 의료기기를 위한 지침 제시
**NEJM AI**에 발표된 분석은 AI 기반 의료기기의 안전성이 기술적 성능뿐 아니라 실제 사용 방식에도 크게 좌우된다고 지적하며, 인간 요인과 관련된 7가지 위험을 제시했다. 저자들은 더 명확한 업무 분담, 이해하기 쉬운 결과 제시, 워크플로 통합, 교육, 안전한 대체 수단, 시판 후 지속 모니터링이 필요하다고 강조했다.
최근 NEJM AI에 발표된 논문은 AI-enabled medical devices의 안전성과 성능이 알고리즘이나 기술적 사양에만 좌우되는 것이 아니라, 사람들이 이러한 기기와 애플리케이션을 어떻게 사용하는지에도 달려 있다고 밝혔다. 저자들은 현행 승인 규제가 지금까지 많은 human factors-related risks를 부분적으로만 다뤄 왔으며, 이로 인해 진료의 안전성과 질에 영향을 미칠 수 있는 공백이 발생한다고 말했다.
이 분석은 7가지 핵심 위험을 식별하고, 기존 규제 및 문서화 절차에 통합할 수 있는 제조사와 규제 평가자를 위한 실질적 권고안을 마련했다. 여기에는 때로는 불투명한 AI 시스템의 특성 때문에 출력 결과가 오해되거나 잘못 해석되는 위험, 사용자가 AI 지원에 과도하게 의존하거나 관련 권고를 무시하게 만드는 잘못 조정된 신뢰, automation bias, 잠재적인 숙련도 저하, 사용자들의 기술 스트레스, indication creep, 그리고 시스템 변경이나 서로 다른 운영 모드와 관련된 오류가 포함된다.
이 프레임워크는 AI 기반 의료기기를 개발하고 배치할 때 사용자, 시스템이 적용되는 맥락, 인간에게 할당되는 업무와 시스템에 할당되는 업무를 명확히 정의하는 방식을 권고한다. 또한 결과는 이해하기 쉽게 제시돼야 하고, 기존 임상 워크플로에 통합돼야 하며, 필요한 경우 교육과 함께 시스템 장애 발생 시 안전하게 대체할 수 있는 대응 수단도 보완돼야 한다고 밝혔다.
저자들은 시장 진입 이후의 지속적 모니터링 중요성을 강조했다. 사용 양상, 잠재적 오사용, 또는 AI 시스템에 대한 과도한 의존은 체계적으로 관찰되고 필요에 따라 시정돼야 하며, 시스템 변경 사항 역시 작업 과정이 그에 맞게 조정될 수 있도록 투명하게 전달돼야 한다.
신뢰할 수 없는 의료 AI의 더 광범위한 위험은 이미 측정 가능하다. 2025년 산업 전반 조사에서 44%의 조직이 생성형 AI 사용으로 인한 부정적 결과를 경험했다고 보고했으며, 사건당 평균 재정 손실은 440만 달러였다. AI가 생성한 퇴원 요약문에 관한 2023년 JAMA Network Open 논문은 사례의 18%에 불완전하거나 오해를 불러일으킬 수 있는 정보가 포함돼 있음을 보여줬고, 같은 논의에서 인용된 연구는 AI가 생성한 정보를 외부 출처로 검증하는 사람이 39%에 불과하다고 밝혔다.
이 분석은 이러한 요인들이 시스템 자체의 기술적 성능이 우수하더라도 임상 현장에서 추가적 부담이나 예기치 않은 실패를 초래할 수 있다고 밝혔다. 권고안은 서로 다른 AI 기반 의료기기와 적용 시나리오에 활용될 수 있도록 의도적으로 일반적이면서도 규제와 정합적인 용어로 작성됐으며, 향후 구체적인 파일럿 적용을 통해 추가 검증이 이뤄질 예정이다.