汎用LLMが専門臨床AIツールと医師をベンチマーク研究で上回る
ベンチマーク研究により、GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6などの汎用LLMが、診断推論タスクにおいてFDA認可の臨床AIツールや医師を上回ることが示された。ドメイン適応型LLMは、臨床研究タスクにおいてもより大規模な汎用モデルを凌駕したが、エージェント型システムの利得は限定的だった。規制上の承認経路はまだ比較性能に対応していない。
Nature MedicineとScienceに掲載された直接比較研究は、汎用大規模言語モデル（LLM）が、症例ベースの診断・臨床推論タスクにおいて、FDA認可の臨床AIツールと医師の両方を上回ることを示している。2026年6月23日に発表されたNature Medicineのベンチマークでは、OpenAIのGPT-5.2、GoogleのGemini 3.1 Pro、AnthropicのClaude Opus 4.6が、現役医師が投稿した質問において、2つの専門臨床AIツールであるOpenEvidenceとWolters KluwerのUpToDate Expert AIを上回った。汎用モデルは試験されたすべての医学ベンチマークで勝利し、認可済みのツールはいずれも実世界の非構造化ポイントオブケア質問において性能上の優位性を示さなかった。
Scienceに掲載された別の研究では、OpenAIの大規模言語モデルが、ボストンの救急部門の実世界データを用いた実験を含め、症例ベースの診断・臨床推論評価において医師を上回る可能性があることが判明した。論文の上席共著者は、すべてシミュレーションと過去の症例に基づく実験が、実際の患者治療におけるAIの安全性と有効性の証明として誤解される可能性があると懸念を表明した。
Nature Medicineの結果は、2024年7月にJournal of Medical Internet Researchに掲載された初期の研究と一致する。その研究では、GPT-4を搭載したChatGPTが、100件の内科救急症例における診断精度で救急部門の研修医を上回り、GPT-3.5と人間の医師の両方より優れた精度を達成した。npj Digital Medicineに記載されたTrialPanoramaというリソースは、15の世界規模のレジストリから160万件の臨床試験記録を集約し、8つの臨床研究タスクにわたる15万2,000件のトレーニングおよびテストサンプルを構築した。これらのタスクで最先端のLLMをベンチマークしたところ、汎用LLMの臨床推論能力は限定的であることが明らかになったが、TrialPanorama上で教師あり微調整と強化学習を用いて開発された8B LLMは、8つのタスクすべてにおいて70Bの汎用モデルを上回り、相対改善率はそれぞれ73.7%、67.6%、38.4%、37.8%、26.5%、20.7%、20.0%、18.1%、5.2%だった。
臨床意思決定タスクにおけるエージェント型AIシステムのベンチマークでは、改善はより限定的だった。ある研究では、MetaのLlama-4上に構築され医療向けにカスタマイズされたエージェントで拡張されたオープンソースのOpenManusと、多段階のプランナー・実行器・検証器アーキテクチャを採用する独自のエージェントシステムであるManusを、AgentClinic、MedAgentsBench、Humanity's Last Exam（HLE）にわたって評価した。ウェブ閲覧やコード実行などのツールにアクセスできたにもかかわらず、両システムはAgentClinic MedQAとMIMICでそれぞれ60.3%と28.0%、MedAgentsBenchで30.3%、HLEテキストで8.6%に達したに過ぎず、マルチモーダル精度はマルチモーダルHLEで15.5%、AgentClinic NEJMで29.2%と低調だった。リソース要求は大幅に増加し、トークン使用量は10倍以上、レイテンシは2倍以上となった。エージェント内のセーフガードにより幻覚の89.9%は除去されたが、幻覚は依然として多発した。
認可済みツールと未認可ツールの性能差は規制上の疑問を提起する。JAMA Health Forumで分析された横断研究は、1995年9月から2023年7月の間にFDAの認可を受けた691件のAIおよび機械学習機器を調査したところ、認可前にベネフィット・リスク文書でランダム化比較試験のデータを報告した機器はわずか1.6%で、承認前に主要な安全性および有害事象情報を共有した機器は30%未満だった。FDAは2026年1月29日に改訂版のClinical Decision Support（CDS）ソフトウェアガイダンスを発行し、2022年9月28日付の旧版を置き換えた。また、AI対応機器ソフトウェア機能に関するPredetermined Change Control Plans（PCCPs）についての2024年12月4日付最終ガイダンスでは、スポンサーに対し変更の種類と試験プロトコルを事前に特定することを要求している。2025年2月10日付でExer LabsのExer Scan AI診断ツールに対して発出された警告状は、認可なしで販売されるツールに焦点を当てた取り締まりを示している。
臨床現場でのAI採用はすでに広がっている。AMAの2024年医師AI調査では、現在66%の医師が診療でAIを使用しており、2023年の38%から増加し、68%がAIツールから明確な利点を感じていると回答した。EMAの2024年臨床開発におけるAI/MLに関するリフレクションペーパーはリスク層別アプローチを採用し、試験の主要評価項目や安全性報告に影響を与える可能性のある高リスクツールは、前向きな性能モニタリング要件を含む厳しい監視に直面している。Tufts医薬品開発研究センターの2024年グローバルAI導入評価（Drug Information Associationと2024年5月から8月に実施）は、ベンダー間で標準化された性能ベンチマークがないにもかかわらず、臨床開発におけるAI対応ソリューションの導入が急速に加速していることを明らかにした。