专业性与实用性兼备，ChatGPT类聊天AI在医疗端的使用报告

GPT-4医学能力卓越，USMLE准确率78.63%优于 GPT-3.5。根据微软和Open AI于2023年3月20日共同发布的《Capabilities of GPT-4 on Medical Challenge Problems》一文展示，GPT-4在医学领域表现出卓越的能力。该项测试中，GPT-4针对 MedQA题库中的美国医师执业资格考试（United States Medical Licensing Examination，USMLE）试题，准确率高达78.63%，明显优于 GPT-3.5的47.05%准确率。这意味着GPT-4在医学性能上有显著提升，并且GPT-4优于平均水平（60%）。这进一步证明了ChatGPT在医学领域的卓越表现。

针对中国地区的医学问题，目前人工智能交互软件的表现尚未达到最佳水平，还存在提升空间。微软和Open AI针对MedQA数据集中的3426道中国大陆试题、1413道中国台湾试题和1273道美国试题进行了测试。测试结果显示，针对中国大陆试题，GPT-4的准确率为75.31%，GPT-3.5的准确率为40.31%。根据2022年执业医师考试的分数线360分，60%的正确率即可通过该考试。因此，GPT-4已经具备合格的医学水平，但GPT-3.5仍需改进。需要注意的是，GPT-4和GPT-3.5在中国大陆的表现仍未达到最佳水平，相较于美国和中国台湾的测试，准确率仍有5%-10%的提升空间。因此，未来这类人工智能技术的交互软件还需针对中国地区的医疗进一步开发，以更好地服务于中国的医学领域。

图表1 ChatGPT回答不同国家和地区执业医师考试

试题情况

* Zero-shot测试是在没有任何相关样本的情况下评估模型处理新任务的能力；5-shot测试是通过提供5个相关样本来评估模型在有限样本下处理新任务的性能。

** MedQA题库包含英文，简体中文和繁体中文的多项选择题，分别来自美国，中国大陆和中国台湾的临床执业医师考试。

*** 4个选项的USMLE试题是在5个选项的试题中去除一个错误选项。

资料来源：Microsoft，Open AI，华安证券研究所

ChatGPT聚焦单学科专业问题表现更佳。针对USMLE这一综合性医学考试，GPT-3.5和GPT-4的正确率分别为47.05%和78.63%。然而，当ChatGPT的测试聚焦到某个具体医学学科，例如医学遗传学或解剖学时，GPT-4的正确率平均比GPT-3.5提高了5%-10%。这表明GPT-4的医学基础更加扎实，针对综合性医学问题的处理能力更强。相较于医生，ChatGPT在医学领域的知识掌握没有科室壁垒。

例如，当患者提及他们最近使用的药物或保健品时，医生可能无法立即了解该药物的具体情况。但是，ChatGPT不会受到这种限制。这也是ChatGPT与医生相比的主要优势之一。

图表2 ChatGPT回答不同领域的医学领域试题情况

* Zero-shot测试是在没有任何相关样本的情况下评估模型处理新任务的能力；5-shot测试是通过提供5个相关样本来评估模型在有限样本下处理新任务的性能。

资料来源：Microsoft，Open AI，华安证券研究所

结果表明，GPT-3.5对心血管疾病相关问题回答的正确率出乎意料达到了84%（21/25），但是文中也针对部分可能会对患者有害的回答表示了担忧，例如人工智能模型在回答有关运动的问题时，坚定地推荐了锻炼心血管的运动，包括举重。

图表3 GPT-3.5针对心血管疾病的25个问题的回答

资料来源：JAMA，华安证券研究所

ChatGPT咨询医疗问题时，由于缺乏医学影像资料可能会影响ChatGPT回复的准确性。微软和Open AI的测试表明，在仅有文字的试题中，GPT-4的准确度高达89.51%，相较于图文试题（未提供图片）提高了近20%的准确度。因此，可以预见未来随着人工智能技术的不断发展，将有可能融入AI识别并分析影像、检验信息等技术，从而推动AI医疗咨询领域的发展。

图表4 ChatGPT针对文字试题和图文试题的回答情况

Zero-shot测试是在没有任何相关样本的情况下评估模型处理新任务的能力；5-shot测试是通过提供5个相关样本来评估模型在有限样本下处理新任务的性能。

**USMLE自我评估的2173道题中有314道题是图文题（占数据集的14.4%），USMLE样卷的376道题中有49道题是图文题（占数据集的13.0%）

资料来源：Microsoft，Open AI，华安证券研究所

ChatGPT在医疗行业中的应用具有明显的优势。首先，ChatGPT具备合格的医学素养，能够对患者的医疗咨询问题提供准确的回复。其次，ChatGPT能够处理多科室的复杂病例，克服了不同科室之间的专业壁垒。此外，ChatGPT在使用上没有时间和空间的限制，回复速度快，内容丰富，患者满意度较高。

诚然，我们也应该注意到相关的劣势，仍存在可提升的空间。目前ChatGPT在针对中国地区的医疗问题时，回复准确性还未达到最佳性能，存在继续开发空间。此外，ChatGPT存在提供误导性错误答案的可能性。最后，由于ChatGPT无法获取医学影像信息，其提出的建议可能存在局限性。

图表5 ChatGPT在互联网医疗中应用的优劣势

资料来源：华安证券研究所整理

目前已进入市场的三种不同的主流AI交互软件是 ChatGPT（Open AI），NewBing（Microsoft），文心一言（百度）。其中ChatGPT包含GPT-3.5和GPT-4两种模式，New Bing则拥有精准，平衡和创造三种模式。

图表6 主流AI交互软件

资料来源：Open AI官网，New bing官网，

文心一言官网，华安证券研究所

作为测试，我们选取的试领域为常见的高血压，主要因为其广泛性并且官方治疗方案清晰。

高血压作为心脑血管疾病的主要危险因素日常的诊断需要被重视。根据2012至2015年的中国高血压调查（CHS）研究数据显示，中国18岁以上的居民高血压患病率较高，粗率为27.9%（加权率为23.2%），其中75岁及以上人群患病率最高，为59.8%，而18至 34岁的青年人群患病率为5.1%。据估算，中国18岁以上成年人高血压患病人数约为2.45亿人。

如果重视日常对高血压的监测和控制，可以有效降低心脑血管疾病的致死率。2017年，中国有254万人死于高收缩压，其中95.7%死于心血管病。如果对I期和

Ⅱ期高血压患者进行治疗，每年将减少80.3万例心血管事件（脑卒中减少69.0万例，心肌梗死减少11.3 万例）

图表7 高血压患者的非药物干预措施

资料来源：中国高血压临床实践指南，

华安证券研究所

图表8 高血压患者的治疗方案

资料来源：中国高血压临床实践指南，

华安证券研究所

我们选取一个网上的病例作为样本，分别将病例输入到各模型，并结合指南和医生意见做对比分析。测试时间为2023年4月13日。

患者是血压处于高血压诊断的典型性案例：患者36 岁，血压为142/92，刚刚超过140/90的诊断标准，尿酸500+，希望询问是否需要服用氯沙坦钾片来治疗。

图表9 病例情况

资料来源：好大夫在线，华安证券研究所

首先是医生建议：患者反复监测血压，如果血压有波动可以先通过调整饮食习惯来改善血压，如无好转，再前往医院进一步检查。

图表10 医生处置建议

资料来源：好大夫在线，华安证券研究所

综合测试结果，各模型都有优劣，其中ChatGPT4.0 表现亮眼。

图表17 三款AI交互软件（六种模式）针对高血压案例回复总结

资料来源：好大夫在线，New Bing, ChatGPT,

文心一言，华安证券研究所整理

从以上两章可以得出结论，ChatGPT类聊天AI在医疗端是兼具专业性与实用性的。

专业性上，ChatGPT4.0的论文测试显示其在各地区考试中都能获得良好的成绩，并且综合性和专科性医学问题都有良好表现。可以说是初步具备合格的医疗水平，并且随着影像/检验数据分析的迭代升级，提升空间巨大。

实用性上，从我们测试的高血压患者病例中可以看到，主流的几款聊天AI，无论是ChatGPT、Newbing还是文心一言，都能够对患者做出相应的指导，并提示最终需要临床医生指导。但对于一般患者而言，医疗的可及性大大增加，因为其操作的方便性，使用体验也大幅升级。

诚然，目前ChatGPT类聊天AI在医疗应用端仍在探索阶段，并不能替代医生的诊断，但前景值得期待的。