MS 진단 AI, 난제 사례서 일반의보다 2배 넘게 정확…사이언스 게재, '가상 의료진 회의'로 묻고 검사하고 반박, 다만 텍스트 시뮬레이션·전문의 비교는 빠져

마이크로소프트(MS)가 만든 진단 AI가 어려운 임상 사례에서 일반의보다 두 배 넘게 정확했다는 연구 결과가 국제 학술지 사이언스(Science)에 실렸다. 정답이 정리된 객관식 시험이 아니라, 환자의 첫 호소 증상만 보고 무엇을 묻고 어떤 검사를 할지 스스로 정해 가는 '단계적 진단' 방식으로 평가했다는 점이 이번 연구의 핵심이다. 다만 실제 진료실이 아닌 통제된 텍스트 시뮬레이션이었고, 비교 대상도 전문의가 아닌 개별 일반의였다. 저자 전원은 MS 직원이다.

핵심 정리

• MS AI의 진단 시스템 'MAI-DxO'가 22일(현지시간) 사이언스에 실린 논문에서 NEJM 난제 사례 정확도 83.2%를 기록했다. 참고 자료를 쓴 일반의는 36.1%, 자료 없이 푼 일반의는 22.3%였다.
• 미국 응급실 입원 사례(MIMIC-IV-ED)에서는 80.3%로 일반의(46.8%)를 앞섰다.
• 예산 제한을 걸면 검사비를 사례당 1,303달러까지 줄이면서도 정확도 79.6%를 유지했다. 다만 제한을 풀면 검사비는 의사보다 많이 들었다.
• 테크크런치는 성능 향상의 상당 부분이 MS 시스템보다 바탕 모델(GPT-5·GPT-5.5)에서 나온다고 짚었다.
• MS는 보스턴 베스이스라엘 디코니스 메디컬센터와 실제 환자를 대상으로 한 전향적 연구에 들어간다.

무슨 일이 있었나

MS AI 헬스 조직의 하샤 노리, 에릭 호비츠 등이 쓴 논문 '언어 모델을 이용한 단계적 진단'이 22일 사이언스에 게재됐다. 이 연구는 지난해 6월 사전 공개 논문으로 처음 알려졌는데, 이번에 동료 심사를 거쳐 응급실 데이터 평가까지 더해 정식으로 실렸다. MS AI는 같은 날 블로그에 '의료 초지능을 만든다'는 글을 올리고, 이 시스템이 응급실 사례에서 의사보다 1.7배, 난제 사례에서 2배 넘게 정확하며 비용은 절반에서 3분의 1 수준이라고 밝혔다.

무스타파 술레이만 MS AI 최고경영자(CEO)는 테크크런치 인터뷰에서 이번 결과를 '의료 초지능'으로 가는 한 걸음이라고 불렀다.

어떻게 시험했나

연구진은 'SDBench'라는 평가판을 새로 만들었다. 미국 의학 학술지 NEJM이 교육용으로 싣는 매사추세츠 종합병원 임상병리 증례 304건과, 공개 의료 데이터베이스 MIMIC-IV-ED에서 뽑은 응급실 입원 사례 325건을 '대화형 진단 게임'으로 바꾼 것이다. 진단자(AI든 의사든)는 짧은 첫 소견만 받고 시작해 병력을 묻거나 검사를 주문하고, 충분하다고 판단되면 최종 진단을 내린다. '게이트키퍼' AI가 요청받은 정보만 내주고, '심판' AI가 의사들이 만든 채점 기준에 따라 정답 여부를 판정한다. 검사마다 미국 병원의 공개 수가표로 계산한 추정 비용이 붙는다.

MAI-DxO는 하나의 모델이 곧장 답을 내는 대신, 역할이 다른 가상 의사 여러 명이 감별 진단을 세우고 서로 반박하며 다음 질문이나 검사를 고르는 '가상 의료진 회의'처럼 돌아간다. 특정 회사 모델에 묶이지 않는 '오케스트레이터'로, 논문의 주결과는 오픈AI GPT-5를 바탕으로 했다.

숫자로 본 결과

• 난제 사례(검증용 56건, 의사 진단 총 1,400여 건): 일반의는 사례당 평균 11.9~18.1분을 쓰며 22.3%(자료 없이)·36.1%(자료 사용)를 맞혔다. 가장 잘한 의사는 51.8%였다.
• MAI-DxO는 예산 제한 없이 83.2%(검사비 평균 5,431달러), 정확도 극대화 설정에서 84.5%(8,945달러)를 기록했다.
• 예산을 걸면 80.9%(2,241달러), 79.6%(1,303달러)로 비용이 크게 줄었다. 의사의 평균 검사비는 3,049~4,725달러였다.
• 응급실 사례: MAI-DxO 80.3%(4,979달러), 예산 제한 시 73.2%(2,634달러)였다. 의사 평균은 46.8%(3,400달러), 최고 기록은 62.5%였다.
• 진료 방식도 달랐다. 의사는 첫 검사 전에 평균 5.6개를 물었지만 MAI-DxO는 25.5개를 물었다. 검사보다 문진에 훨씬 공을 들인 셈이다.

로이터에 따르면 MS AI 헬스 부문 도미닉 킹 부사장은 "AI는 객관식 시험에서는 이미 만점에 가깝지만 그건 현실이 아니다. 요약본을 들고 진료실에 온 환자는 한 명도 없었다"고 말했다.

다른 시각: "AI가 이겼다"의 단서들

먼저 성능이 어디서 나왔는지에 대한 물음이 있다. 테크크런치는 논문 데이터를 뜯어보면 향상의 상당 부분이 바탕 모델에서 나온다고 지적했다. GPT-5에 기본 프롬프트만 줘도 난제 사례에서 78.9%가 나왔고, MAI-DxO는 정확도를 4%포인트쯤 올리면서 검사비를 약 3,000달러 줄였다. 응급실 사례에서는 GPT-5든 GPT-5.5든 MAI-DxO를 붙여도 정확도와 비용이 거의 달라지지 않았다. 반면 약한 모델일수록 효과가 컸다. 제미나이 2.5 플래시는 46.4%에서 약 69%로 올랐다. MS 측은 정확도가 이론상 최대치에 가까워질수록 향상 폭이 줄어드는 건 자연스럽다고 설명했다.

비교 조건도 따져 봐야 한다. 논문 스스로 한계를 길게 적었다. 이 정도 난제는 보통 전문의나 다학제 팀이 맡는데 이번 비교는 개별 일반의였고, 전문의와 비교하면 격차가 줄어들 것이라고 저자들도 예상했다. 영상·심전도·병리 슬라이드가 빠진 텍스트 전용 환경이었고, 정상이거나 가벼운 방문은 아예 없었다. 진단만 평가했을 뿐 치료나 환자 결과는 다루지 않았다. 의료 전문지 메디컬 이코노믹스는 예산 제한이 없을 때 MAI-DxO의 검사비가 오히려 의사보다 많았다는 점(난제 5,431달러 대 4,725달러)도 짚었다.

이해 상충도 있다. 저자 전원이 MS 직원이자 주주이고, 8명은 이 평가 체계와 관련된 MS 특허 출원의 발명자로 올라 있다. 대신 MS는 평가 코드를 MIT 라이선스로 깃허브에 공개해 외부 검증을 열어 뒀다.

배경: 빅테크의 '의사 대결' 경쟁

MS만 이런 주장을 하는 게 아니다. 테크크런치는 구글과 오픈AI도 자사 AI가 의사와 대등하거나 낫다고 주장해 왔다고 전했다. 구글은 이달 베스이스라엘 병원과 함께 대화형 진단 AI 'AMIE'를 실제 긴급진료 현장에서 평가한 연구를 랜싯에 실었다. 술레이만은 메이오 클리닉과 의료용 파운데이션 모델을 훈련 중이며 내년 공개가 목표라고 밝혔다. 또 의료 AI 능력이 "24~36개월 안에 한 차원(10배) 더 좋아질 것"이라고 내다봤다. MS는 받아쓰기 도구 드래곤 코파일럿, 영상 판독 보고 도구 파워스크라이브를 만든 팀까지 MS AI로 모아 의료 사업을 키우고 있다.

한국 독자에게 주는 의미

첫째, 평가의 기준이 바뀌고 있다. 지금까지 국내외 의료 AI 홍보는 "의사 국가고시 합격" 같은 시험 점수에 기대 왔다. 이번 연구는 무엇을 묻고 어떤 검사를 언제 멈출지까지 평가 대상에 넣었다. 국내 의료 AI 기업과 병원도 앞으로 정확도뿐 아니라 '진단 과정과 비용'을 증명하라는 요구를 받을 가능성이 크다.

둘째, 비용 축소 효과는 미국 병원 수가표로 계산한 수치라 한국 건강보험 수가 체계에 그대로 옮길 수 없다. 오히려 문진에 공을 들이고 불필요한 검사를 줄인다는 '방식'이 짧은 진료 시간이 고질병인 국내 의료 현장에 더 시사적이다.

셋째, 개발자라면 공개된 SDBench 코드를 써서 국내 모델이나 한국어 증례로 같은 평가를 돌려 볼 수 있다. 다만 NEJM 증례 데이터는 비상업 연구 용도로만 별도 허가를 받아 쓸 수 있다.

전망

진짜 시험은 이제부터다. MS는 베스이스라엘 디코니스 메디컬센터와 함께 동의한 환자가 표준 진료를 받으면서 MAI-DxO와도 직접 대화하게 하고, 그 판단을 의사의 독립적 판단과 비교하는 전향적 연구를 진행한다. 킹 부사장은 "이런 종류로는 가장 큰 연구가 될 것"이라고 말했다. 깔끔한 텍스트 증례에서 나온 83%라는 숫자가 금요일 밤 붐비는 응급실에서도 유지될지, 그리고 그 결과를 MS가 아닌 독립 연구진이 재현할 수 있을지가 '의료 초지능' 주장의 무게를 가를 것이다.

— SSOK.AI 그록기자

참고 자료

• Science — Sequential diagnosis with language models (Nori et al.)
• Microsoft AI — Building Medical Superintelligence
• Reuters — Microsoft develops AI tool that can diagnose 'sequentially' like a doctor (Investing.com 게재)
• TechCrunch — Microsoft's Mustafa Suleyman says its AI outperforms doctors on hard cases
• Medical Economics — AI system outperforms physicians on diagnostic accuracy in Microsoft study
• GitHub — microsoft/sdbench