醫療領域的可信多 Agent AI 系統:挑戰與經驗教訓

TL;DR

• 問題定義先於技術:美國醫療的痛點是醫師短缺、80% 臨床人員 burnout、每次門診 15 分鐘裡醫師大半時間盯著螢幕,連帶造成每年約 40 萬件可預防死亡,以及約 1 兆美元的行政成本。Oracle Health 的 Clinical AI Agent 就是針對「把時間還給醫師」這一件事設計的。
• 架構重點在 orchestrator 與 guardrails:一句「show me the recent labs」背後要判斷查結構化資料還是非結構化病歷、要不要帶入 UI 與病人脈絡、該用推理模型還是一段 deterministic Python;input/output 兩側都要 guardrail(病人端問診特別要能辨識醫療急症並升級)。
• 醫療的評估與別的領域不一樣:離線評估的假設在線上常不成立(病人分佈會漂移);而且 recall 極度重要——病人摘要漏掉一項醫療相關資訊,不是體驗變差,是病人安全事故。

重點整理

為什麼是醫療:被行政工作吃掉的臨床時間(約 01:56–01:59)

講者先花了幾分鐘鋪陳問題規模,而不是講模型:

• 臨床人力短缺,加上 burnout 與行政負擔——早在 COVID 之前的調查就顯示約 80% 的臨床人員處於 burnout 狀態,導致離職或計畫離開整個醫療產業。
• 病人能分到的看診時間持續縮短,典型只有 15 分鐘左右,而醫師在這段時間裡還得花一大塊在電腦前,而不是看著病人。
• 這些因素疊加系統性問題,結果是光美國每年約 40 萬件可預防死亡;同時醫療成本持續上升,美國約有 1 兆美元與行政負擔相關。

他的結論很直接:這不可持續。AI 在醫療其實已經在快速被採用,真正的問題是「怎麼用它降低行政負擔與 burnout,而且是以可信的方式做到——病人安全、法規遵循」。

Clinical AI Agent 與 multi-agent orchestrator(約 01:59–02:04)

Oracle Health 已上線的產品 Clinical AI Agent,能力是逐層堆上去的:

1. 在病人與醫師同意下,聆聽問診對話並自動生成病歷(medical notes)。
2. 在此之上自動擷取醫囑(X 光、檢驗、用藥等 orders)。
3. 再往前一步,在醫師看診「之前」就準備好摘要——這位病人為什麼來、病歷中哪些部分相關。

設計原則是 voice-first、多模態、跨裝置(手機、web、桌機),而且同時吃醫師偏好(provider context)與病人脈絡(patient context),並盡可能主動——例如新的檢驗報告進來時,主動建議下一步的照護路徑。

核心元件是 multi-agent orchestrator。以「show me the recent labs」這種看似簡單的查詢為例,系統得決定:

• 要查結構化紀錄(檢驗數值)還是非結構化資料(病歷文字)?
• 要帶入哪些 UI 脈絡與病人脈絡?怎麼支援多輪對話?
• 更複雜的查詢(「Samantha 現在吃的藥有沒有副作用?」「根據她的病史與新報告,最佳處置是什麼?」)要調用工具庫與技能庫中的哪一個?

Orchestrator 之外還有兩層:

• Guardrails 在輸入與輸出兩側都要有。輸入側在面向病人的場景特別關鍵——敏感查詢、需要升級處理的醫療急症必須被正確攔截;輸出側則檢查 agent 回覆。
• 延遲與成本必須被壓住:做 caching、平行計算,並在 runtime 決定這個查詢該路由到複雜推理模型、較簡單的語言模型,還是一段確定性的 Python 就夠了。這個 runtime 決策同時省下延遲與成本。

從單一應用到「多 agent 醫療系統」,以及會出什麼錯(約 02:04–02:07)

再往上一層,是整個醫療體系的 multi-agent 化:利害關係人包含病人、醫師、行政、payer 端;系統包含 EHR;任務涵蓋搜尋、文件摘要、醫療編碼(medical coding)等。這些 agent 之間要如何互動,是開放問題。

他點名兩類最容易踩雷的地方:

• 評估:離線評估的結果不一定能轉移到線上——可能是假設不再成立,也可能是病人分佈改變了。而且要把商業指標對應到可量測、可迭代的 applied science 指標。
• Omission(漏訊息):呈現病人摘要時,recall 極度重要,這點和網頁搜尋等場景不同。摘要中漏掉一項醫療上相關(medically pertinent)的資訊,直接就是病人安全問題。

醫療影像的例子展示了另一種設計:胸部 X 光判讀的任務,用一個 orchestrated agent 加上一組依臨床工作流程設計的 sub-agents——對應放射判讀常用的 ABCDE 系統(airway、breathing 等)。這些 sub-agents 平行執行,再由一個 synthesizer 整合彼此可能互相衝突的結果,決定最終判讀。

收尾的四點經驗(約 02:07)

1. 先懂領域,不要只盯著模型開發;資料驗證與評估方法論同等重要。
2. 和臨床人員一起迭代:理解需求、早期版本先出來、根據回饋修。
3. 前沿模型不懂醫療的細節:必須把領域與任務知識編碼進 semantic knowledge graph 與 semantic data layer。
4. 信任與安全是硬需求:他們內部跑一套稱為 "AI review for health" 的審查流程。

金句

"Our goal is to reduce the time doctors spend entering data or searching patient records or typing notes, and instead spend more time interacting with the patient — which is the reason they came to the profession in the first place."(約 01:59)

整場演講的動機不是「AI 能做什麼」,而是「醫師為什麼當醫師」。

"If you miss something which is medically pertinent in the summary, that can lead to patient safety."(約 02:05)

在醫療場景,recall 不是體驗指標,是安全指標。