ChatGPT几乎通过美国医生执照试 得分接近及格线

据外媒报道,人工智能聊天机器人ChatGPT最近几乎通过美国医师执照考试(US Medical Licensing Exam (USMLE)),得分达到或接近60分及格线。

众所周知医生执业试以高难道见称。上周四(2月9日)美国期刊《PLOS Digital Health》发布研究报告指,ChatGPT“应考”了美国医师执照考试,挑战2022年6月版376条试题中的350条试题,最终取得的成绩达到或接近及格线。研究人员更指ChatGPT有份协助撰写研究报告。

美国医师执照考试实际上由三个考试组成,涵盖由基础科学概念到生物伦理等所有内容,一般需要300 – 400小时准备时间。据研究人员在论文指,ChatGPT在未经专门训练或强化的情况下,在3个部分分别取得52.4至75分的成绩,达到或接近60分及格线。

研究人员表示, ChatGPT能提供每个回答背后的理据,在考试的解释中表现出高水平的洞察力和一致性。值得注意的是, ChatGPT有88.9%的回答“包含至少一个重要见解”,即见解较新颖独到,在临床上会有效果但不是人人能看得出来。ChatGPT的分数甚至击败了PubMedGPT,一个专门针对医学文献的人工智能聊天机器人。 PubMedGPT的分数仅有50.3%。

虽然ChatGPT表现超乎预期,但就现阶段而言,在可见的未来它都不能取代医学专家。研究人员表示,ChatGPT于未经人为强化训练的前提下,在USMLE取得及格分数,显示这类大型语言模型有潜力协助医学教育,和为临床决策提供建议。

数据源:Science Alert