범용 LLM, 벤치마크 연구에서 전문 임상 AI 도구와 의사보다 우수한 성과
벤치마크 연구에 따르면 GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6과 같은 범용 LLM이 진단 추론 과제에서 FDA 승인 임상 AI 도구와 의사보다 우수한 성능을 보였다. 도메인 적응형 LLM은 임상 연구 과제에서도 더 큰 규모의 일반 모델을 능가했으며, 에이전트 시스템은 소폭의 개선만 나타냈다. 규제 승인 경로는 아직 비교 성능을 다루지 않고 있다.
Nature Medicine와 Science에 발표된 직접 비교(head-to-head) 연구들은 범용 대규모 언어 모델(LLM)이 사례 기반 진단 및 임상 추론 과제에서 FDA 승인 임상 AI 도구와 의사 모두를 능가한다는 것을 보여준다. 2026년 6월 23일 발표된 Nature Medicine 벤치마크에서 OpenAI의 GPT-5.2, Google의 Gemini 3.1 Pro, Anthropic의 Claude Opus 4.6은 현직 의사가 제출한 질문에 대해 두 가지 전문 임상 AI 도구인 OpenEvidence와 Wolters Kluwer의 UpToDate Expert AI를 능가했다. 범용 모델은 테스트된 모든 의료 벤치마크에서 승리했으며, 승인된 두 도구 모두 실제 비구조적 진료 현장 질문에서 성능 우위를 확보하지 못했다.
Science에 게재된 별도의 연구는 OpenAI의 대규모 언어 모델이 사례 기반 진단 및 임상 추론 평가에서 의사보다 우수한 성능을 낼 수 있음을 발견했으며, 여기에는 보스턴 응급실의 실제 데이터를 사용한 실험도 포함된다. 논문의 공동 선임 저자는 모두 시뮬레이션 및 과거 사례에 기반한 실험들이 실제 환자 치료에 AI를 사용할 때의 안전성과 효능을 입증하는 것으로 오해될 수 있다는 우려를 표명했다.
Nature Medicine 결과는 2024년 7월 Journal of Medical Internet Research에 발표된 초기 연구와 일치한다. 해당 연구에서 GPT-4 기반 ChatGPT는 100개의 내과 응급 사례에 대한 진단 정확도에서 응급실 전공의보다 우수한 성능을 보였으며, GPT-3.5와 인간 의사 모두보다 높은 정확도를 달성했다. npj Digital Medicine에 소개된 TrialPanorama라는 리소스는 15개 글로벌 레지스트리에서 160만 건의 임상 시험 기록을 수집하고 8개의 임상 연구 과제에 걸쳐 152K개의 훈련 및 테스트 샘플을 구축했다. 이러한 과제에서 최첨단 LLM을 벤치마킹한 결과 일반 LLM의 임상 추론 능력은 제한적이었지만, 감독 미세 조정과 강화 학습을 통해 TrialPanorama에서 개발된 8B LLM은 8개 과제 모두에서 70B 일반 모델을 능가했으며, 상대적 개선 폭은 73.7%, 67.6%, 38.4%, 37.8%, 26.5%, 20.7%, 20.0%, 18.1%, 5.2%로 나타났다.
임상 결정 과제에 대한 에이전트 AI 시스템의 벤치마킹에서는 개선 폭이 더 완만했다. 한 연구는 Meta의 Llama-4를 기반으로 의료 맞춤형 에이전트로 확장된 오픈소스 OpenManus와 다단계 플래너-실행자-검증자(planner-executor-verifier) 아키텍처를 사용하는 독점 에이전트 시스템 Manus를 AgentClinic, MedAgentsBench, Humanity's Last Exam(HLE)에서 평가했다. 웹 브라우징 및 코드 실행과 같은 도구에 접근할 수 있었음에도 불구하고, 이 시스템들은 AgentClinic MedQA와 MIMIC에서 60.3%와 28.0%, MedAgentsBench에서 30.3%, HLE 텍스트에서 8.6%의 정확도를 기록했으며, 다중 모드 HLE에서 15.5%, AgentClinic NEJM에서 29.2%로 다중 모드 정확도는 최저 수준이었다. 리소스 요구량은 상당히 증가하여 토큰 사용량이 10배 이상, 지연 시간이 2배 이상 늘었고, 에이전트 내 안전장치로 환각의 89.9%가 걸러졌음에도 불구하고 환각은 여전히 만연했다.
승인된 도구와 승인되지 않은 도구 간의 성능 격차는 규제상의 의문을 제기한다. JAMA Health Forum에 분석된 단면 연구는 1995년 9월부터 2023년 7월 사이에 FDA 승인을 받은 691개의 AI 및 머신러닝 기기를 검토했으며, 이 중 단 1.6%만이 승인 전 혜택-위험 문서에 무작위 대조 시험 데이터를 보고했고, 30% 미만만이 승인 전에 주요 안전 및 부작용 정보를 공유했다. FDA는 2026년 1월 29일 임상 결정 지원 소프트웨어에 대한 개정 지침을 발표하여 2022년 9월 28일 이전 버전을 대체했으며, 2024년 12월 4일 AI 지원 기기 소프트웨어 기능에 대한 사전 결정 변경 통제 계획(PCCP)에 관한 최종 지침은 후원자가 변경 유형과 테스트 프로토콜을 사전에 명시하도록 요구한다. 2025년 2월 10일 Exer Labs에 대한 Exer Scan AI 진단 도구 관련 경고 서한은 승인 없이 시판되는 도구에 초점을 맞춘 집행을 보여준다.
임상 현장에서 AI 도입은 이미 광범위하다. AMA의 2024년 의사 AI 설문조사에 따르면 현재 66%의 의사가 진료에서 AI를 사용하고 있으며, 이는 2023년의 38%에서 증가한 수치이고, 68%는 AI 도구에서 확실한 이점을 인식한다고 응답했다. EMA의 임상 개발 내 AI/ML에 관한 2024년 리플렉션 페이퍼는 위험 등급화 접근 방식을 채택했으며, 시험의 1차 종점이나 안전성 보고에 영향을 미칠 수 있는 고위험 도구는 전향적 성능 모니터링 요건을 포함한 더 강화된 조사를 받게 된다. Tufts 약물개발연구센터(Tufts Center for the Study of Drug Development)와 Drug Information Association이 2024년 5월부터 8월까지 공동으로 수행한 2024년 글로벌 AI 도입 평가에 따르면, 임상 개발에서 AI 지원 솔루션의 도입은 벤더 간 표준화된 성능 벤치마크가 없음에도 불구하고 빠르게 가속화되고 있다.