美國執(zhí)業(yè)醫(yī)師資格考試以難度大著稱,而美國研究人員發(fā)現(xiàn),聊天機(jī)器人ChatGPT無需經(jīng)過專門訓(xùn)練或加強(qiáng)學(xué)習(xí)就能通過或接近通過這一考試。對此,有人對人工智能在臨床醫(yī)學(xué)的應(yīng)用充滿期待,有人則開始反思美國醫(yī)學(xué)教育及相關(guān)考試的不足。
參與這項研究的人主要來自美國醫(yī)療保健初創(chuàng)企業(yè)安西布爾健康公司(AnsibleHealth)。他們在美國《科學(xué)公共圖書館·數(shù)字健康》雜志9日刊載的論文中說,他們從美國執(zhí)業(yè)醫(yī)師資格考試官網(wǎng)2022年6月發(fā)布的376個考題中篩除基于圖像的問題,讓ChatGPT回答剩余350道題。這些題類型多樣,既有要求考生依據(jù)已有信息給患者下診斷這樣的開放式問題,也有諸如判斷病因之類的選擇題。兩名評審人員負(fù)責(zé)閱卷打分。
2022年1月25日,醫(yī)務(wù)人員在意大利博洛尼亞一家醫(yī)院的新冠重癥監(jiān)護(hù)室工作。圖源:新華社
結(jié)果顯示,在三個考試部分,去除模糊不清的回答后,ChatGPT得分率在52.4%至75%之間,而得分率60%左右即可視為通過考試。值得注意的是,ChatGPT有88.9%的主觀回答包括“至少一個重要的見解”,即見解較新穎、臨床上有效果且并非人人能看出來。相比之下,專門針對生物醫(yī)學(xué)領(lǐng)域文獻(xiàn)訓(xùn)練出來的一款大型語言模型PubMedGPT在類似測試中得分率剛過50%。
研究人員說,“在這個出了名難考的專業(yè)考試中達(dá)到及格分?jǐn)?shù),且在沒有任何人為強(qiáng)化(訓(xùn)練)的前提下做到這一點”,這是人工智能在臨床醫(yī)學(xué)應(yīng)用方面“值得注意的一件大事”,顯示“大型語言模型可能有輔助醫(yī)學(xué)教育、甚至臨床決策的潛力”。
實際上,在這篇論文初稿寫作過程中,ChatGPT就做出了“較大貢獻(xiàn)”,與研究人員關(guān)系如同事般,而安西布爾健康公司的臨床醫(yī)生們也已在使用ChatGPT改寫一些術(shù)語繁多的報告,以便患者理解。
新西蘭惠靈頓維多利亞大學(xué)軟件工程高級講師西蒙·麥卡勒姆對人工智能在醫(yī)學(xué)領(lǐng)域的應(yīng)用同樣樂觀。他告訴法新社記者,谷歌公司一款名為Med-PaLM的人工智能醫(yī)療助手“能夠向患者提供和專業(yè)全科醫(yī)生一樣好的建議”。隨著技術(shù)不斷發(fā)展,“我們可能很快會從‘谷歌醫(yī)生’或‘必應(yīng)(微軟旗下搜索引擎的名稱)護(hù)士’那里得到醫(yī)學(xué)方面建議”。
不過,也有人持異議?!犊茖W(xué)公共圖書館·數(shù)字健康》同日刊載的一篇文章題目是《ChatGPT通過美國執(zhí)業(yè)醫(yī)師資格考試讓人們注意到醫(yī)學(xué)教育的缺陷》。作者在文章中說,ChatGPT的成功,一方面反映醫(yī)師考試過于強(qiáng)調(diào)機(jī)械記憶,對疾病機(jī)理死記硬背,“不能充分評估現(xiàn)代醫(yī)療實踐所需技能”;另一方面反映醫(yī)學(xué)教學(xué)方式僵化,易讓學(xué)生誤以為醫(yī)學(xué)上的問題“非對即錯”,而臨床中“正確的”選擇含義豐富,既需要醫(yī)生摒棄偏見、發(fā)揮創(chuàng)造力、展開批判性思考,也需要考慮眾多現(xiàn)實因素。
美國執(zhí)業(yè)醫(yī)師資格考試屬于標(biāo)準(zhǔn)化考試,分為三部分。第一部分側(cè)重于考察基礎(chǔ)科學(xué)和藥理學(xué),考生通常是完成300至400小時專業(yè)學(xué)習(xí)的醫(yī)學(xué)生;第二部分一般由四年級醫(yī)學(xué)生參加,重點考察臨床診斷推理能力、醫(yī)療管理水平和生物倫理方面內(nèi)容;最后一部分考試對象是完成至少6至12個月研究生醫(yī)學(xué)教育的實習(xí)醫(yī)生。
ChatGPT意為“聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器”,是美國開放人工智能研究中心研發(fā)的大型語言模型,去年11月發(fā)布,由于能在數(shù)秒內(nèi)按用戶需求寫出論文、詩歌或編程代碼而引起轟動。美國科學(xué)促進(jìn)會運(yùn)營的全球科技新聞服務(wù)網(wǎng)站“尤里卡警報”說,與現(xiàn)有的多數(shù)聊天機(jī)器人不同,ChatGPT不能上網(wǎng)搜索,而是經(jīng)由內(nèi)部數(shù)據(jù)處理生成類似人類語言的文本。
(原標(biāo)題:ChatGPT能考上美國醫(yī)生嗎?)