AI의 임상 진입, 연구자·의료계가 경계 설정 촉구

새로운 연구와 지침은 의료 분야 AI의 가능성과 위험을 보여준다. 다트머스 연구는 AI가 작성한 환자 메시지가 오류를 유발할 수 있음을 보여줬고, 이스라엘 의사협회는 새 입장문을 발표했다. 규제 대응은 제각각이며 FDA 지침과 주법은 여전히 진화 중이다.

인공지능이 응급실, 지역 클리닉, 환자 포털에 들어서고 있지만, 보호 장치가 필요하다는 연구와 전문가 지침이 늘어나고 있다. 2026년 계산언어학회(Association for Computational Linguistics) 연례회의에서 발표된 다트머스(Dartmouth) 연구에 따르면 AI가 작성한 환자 응답은 오류를 유발할 수 있으며, 이스라엘 의사협회(Israel Medical Association)는 의료 분야에서 이 기술 사용의 경계를 정의하는 입장문을 발표했다.

다트머스 연구진은 대규모 농촌 의료 시스템에서 10,105명의 환자와 그들의 일차진료의사 간 146,000건의 대화를 분석했다. 이는 AI를 사용해 응답을 작성하는 온라인 환자 포털에 대한 최초의 대규모 연구다. 연구진은 AI가 생성한 답변이 임상의가 실제로 작성하는 내용과 자주 어긋난다는 것을 발견했다. 응답이 너무 길고, 후속 질문을 하지 않으며, 관련 없거나 부정확한 의학적 세부 사항을 사용한다는 것이다. 그 결과 의사들은 응답을 직접 작성하는 데 걸리는 시간보다 더 많은 시간을 편집에 쓰게 될 수 있다고 연구진은 보고했다. 한 예로, 포털의 AI는 위산 역류 약을 복용하고 지속적인 메스꺼움을 걱정하는 32세 여성에게 약물이 식이 조절을 요구할 수 있다고 제안했다. 반면 의사는 임신 가능성이 있는지 물어봤다.

연구진은 Claude, Gemini, ChatGPT와 세 가지 소규모 상용 플랫폼인 Llama, Aloe, Qwen이 작성한 응답을 평가했다. AI를 개별 의사의 의사소통 방식에 맞게 조정하면 정확도가 33% 향상되고 편집 시간이 26% 줄어든다는 것을 보여주었다. 연구팀은 또한 AI 플랫폼이 의사의 정밀성과 정보 품질 기준을 더 잘 충족하도록 훈련하는 기법인 TADPOLE(Thematic Agentic Direct Preference Optimization for Learning Enhancement)을 개발했다. TADPOLE을 6개 상용 LLM에 적용하면 해당 기준에 더 잘 부합하는 응답이 생성되었으며, 공동 저자 중 한 명은 이를 통해 바쁜 임상의가 하루에 한두 시간의 작업을 절약할 수 있다고 말했다.

이스라엘 의사협회는 의료 질 연구소(Institute for Quality in Medicine)와 이스라엘 위험 관리 및 환자 안전 학회(Israeli Society for Risk Management and Patient Safety in Medicine)를 통해 이번 달 입장문을 발표했다. 입장문은 기술을 사용하되 그것에 노예가 되지 말고, 진단과 치료를 개선하기 위해 지원을 받되 그것을 결정을 내리는 숨은 의사로 만들지 말라는 규칙을 정의하려고 시도한다. 입장문은 2024년 5월 기준 미국 식품의약국(FDA)이 인공지능을 사용하는 882개 의료 기기를 승인했으며, 이 중 영상의학 분야가 671개(76%)를 차지한다고 밝혔다. 또한 진료 방문을 기록하고 대화를 전사하며 전체 방문 문서를 생성하는 Rounds, 그리고 매일 밤 의료 기록을 스캔하여 가정의에게 권고사항과 고위험 환자를 표시하는 Clalit Health Services의 AI-PRO와 같은 시스템도 설명한다.

입장문은 기대 효과가 크지만 위험도 크다고 강조한다. AI 시스템의 권고는 훈련 데이터가 부분적이거나 편향되거나 환자 집단을 대표하지 않을 경우 편향될 수 있다. 또 다른 위험은 거짓 안도감이다. 컴퓨터 시스템이 빠르고 잘 표현되며 자신감 있는 답변을 주면 그것을 믿기 쉽다.

규제 환경은 분열되어 있다. FDA는 1월 소프트웨어 지침을 업데이트하여 의사를 보조할 때 AI 도구가 덜 감독을 받고 운영되도록 허용했으며, 의사가 AI 권고의 근거를 독립적으로 검토할 수 있게 하는 소프트웨어를 의료기기 규제에서 제외했다. 그러나 이 예외는 의사가 개입하는 AI에만 적용된다. 환자와 직접 대화하는 AI에 대한 유사한 면제는 없으며, 가장 자율적인 임상 AI가 가장 규제를 덜 받는 상황이 되었다. 주(州)마다 다른 방향으로 움직이고 있다. 유타, 애리조나, 텍사스는 배포를 가속화하기 위한 프레임워크를 구축하고 있는 반면, 뉴욕과 캘리포니아는 의료 분야의 AI를 축소하는 방향으로 나아가고 있다. 뉴욕 주의회는 AI가 기본적인 의학적 지침조차 제공하는 것을 잠재적으로 불법으로 만드는 법안을 도입했고, 캘리포니아는 AI가 관여할 때 환자에게 공개하도록 요구하는 법을 제정했다.

한편, 데이터에 따르면 미국인의 3분의 1이 이제 증상 진단과 치료 방향을 위해 AI 챗봇을 사용하고 있으며, 이 수치는 1년 만에 두 배로 늘었다. 일부 의사들은 AI가 의료 접근성을 확대할 가능성이 있다고 본다. 한 소아과 의사는 잘 설계된 AI가 수동적인 화면 콘텐츠와 달리 질문을 하고 응답에 따라 조정하는 '주고받기(serve and return)' 상호작용을 어린이에게 시뮬레이션할 수 있다고 주장했다. 연방 정부는 또한 심부전 사건을 독립적으로 관리할 AI를 개발하기 위한 제안을 요청하고 있다. 심부전은 권장 약물 요법을 받는 환자가 1%에 불과하고 5년 사망률이 50%를 초과하는 질환이다.

Related Entities

Related Articles

References

  1. Keeping at bay the dangers of AI - The Globe and Mail · theglobeandmail.com
  2. AI mistakes can cost doctors time when writing to patients - EurekAlert! · eurekalert.org
  3. Honour the calling, rebuild trust in healthcare services | BusinessLine (Chennai) | PressReader · pressreader.com
  4. Artificial intelligence enters medicine – and doctors receive new boundaries · jpost.com
  5. I'm a pediatrician. I want to prescribe the right AI to my patients - STAT News · statnews.com
  6. Contributor: AI could democratize medicine , but better regulation comes first · latimes.com
  7. From The New York Times Opinion Section “Being honest about our A.I. use, in my ... - Facebook · facebook.com