目前，我国医疗卫生领域普遍存在“看病难、看病贵”难题，其背后反映的是医疗资源配置的不均衡和医疗服务体系的不完善。优质医疗资源的短缺，尤其是高水平医疗人才、先进医疗设备和前沿医疗技术主要集中在大城市和发达地区，导致基层和边远地区居民难以享受到同等质量的医疗服务。此外，随着人口老龄化的加剧和疾病谱的变化，对医疗卫生服务的需求不断增加。然而，医疗资源的增长速度与需求增长速度并不匹配，加之医疗服务价格机制和医疗保障体系的不完善，使得看病成本居高不下[1]。

人工智能(Artificial Intelligence, AI)是一门研究开发模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的新兴技术科学[2]。自AlphaGo战胜人类的围棋冠军以来，AI技术迅速发展并广泛应用于各领域[3]。近年来，国务院、工信部、药监局等部门发布了多项政策，旨在积极推动AI技术在医疗领域的应用和发展，以降本增效、提升诊疗水平为核心目标，缓解当前优质医疗资源的供需矛盾，推动医疗服务向更高效、更精准的方向发展。然而，AI技术在赋能医疗发展的同时，也带来了一系列风险挑战。本文基于医疗AI的应用现状，重点分析当前医疗AI面临的风险挑战，通过剖析其内在形成原因，提出符合我国国情的对策建议，以推动医疗AI健康有序发展。

1、医疗AI的应用价值

近年来，随着医疗卫生领域科技创新的持续推进，医疗AI已上升为国家层面的战略发展方向。目前，以计算机视觉、自然语言处理和机器学习等为代表的AI技术在医学影像、临床决策支持、虚拟助理、医疗机器人和疾病风险预测等领域实现了广泛应用[4],为患者、医生、医院和国家带来诸多益处。

1.1 为患者提供优质的个性化医疗服务

随着人口老龄化加剧和慢性病负担加重，我国现行的医疗行业服务模式亟需升级，基层医疗诊治水平亟待提升。医疗AI技术通过辅助诊断等方式，有望赋能基层医疗，实现疾病的早发现和个性化干预。例如，2018年，美国 FDA批准了首款基于计算机视觉技术的眼科医疗设备，用于社区医院糖尿病视网膜病变的早期筛查[5];Skin Analytics公司开发的DERM AI产品，可帮助患者尽早发现皮肤癌，显著提高生存率，同时降低医疗成本[6]。此外，计算机视觉处理结合大数据云技术，可实现医学图像数据的云传输、云存储、云共享和云应用，为患者提供数字云影像、医学影像解读、辅助问诊等个性化医疗服务[7]。近年来，以ChatGPT为代表的自然语言处理技术在医疗领域备受瞩目。经海量医学专业数据训练，医疗AI机器人可全天候为慢性病患者提供智能交互及个性化健康管理，帮助患者更好地预防、控制疾病，减少并发症等[8]。

1.2 提升医生诊疗效率和服务水平

中国人口基数大，医生诊疗负担重是一个不容忽视的问题[9]。在我国，三级医院总是人满为患，医生超负荷工作，对医生身心健康和工作质量，对患者诊疗效果均产生负面影响。医疗AI在接管常规重复性、标准化任务方面潜力巨大，可有效提升医生工作效率。例如，AI智能导诊机器人可分流病人；语音识别系统可协助医生语音录入电子病历；医学影像和病理辅诊系统可自动完成图像初筛、病灶勾选；智能采血系统可提升采血效率等，都极大提升了医生工作效率[10]。我国基层医生技术水平参差不齐，医疗AI通过学习海量研究成果和医疗数据，可实现辅助诊断、病历质控和合理用药等功能，全方面提升基层医生能力，规范诊疗行为[11, 12]。例如，作为服务基层医生的AI全科辅助诊疗系统，“医疗智医”助理已覆盖全国20多个省(市)及200余个县(区),累计为超过3万家基层医疗机构提供3.4亿次辅诊服务，显著增强了基层医疗机构的服务能力[13]。

1.3 助力医院实现智能化管理

随着医院信息化建设的持续推进，AI技术凭借其强大的大数据处理能力，优化了医疗服务流程，合理配置了医护资源，显著提高了医院管理的智能化水平。具体而言，AI技术在多个关键领域发挥着重要作用，包括电子病历管理、智能化的药品和医疗器械闭环管理、手术排班的智能优化、基于DRGs的绩效管理以及后台的人力和财务管理等[14]。此外，AI技术与5G、云计算和互联网技术的融合，促进了医院间的信息互联和资源共享，有助于推动优质医疗资源下沉，使患者无论身处何地，都能获得高质量的医疗服务。以乌镇互联网医院为例，该医院自2019年起已经连接了全国3200多家医院和30万名医生，并建立了12个专病专科远程会诊中心[15]。通过提供在线复诊和远程会诊等服务，乌镇互联网医院有效地推动了优质医疗资源的普及，使患者在家就能享受到专业的医疗服务。

1.4 提升国家应对突发公共卫生事件的能力

新冠疫情的快速蔓延对我国公共卫生应急响应能力构成了严峻的考验。在新冠疫情阻击战中，AI技术在疫情筛查、诊治、药物研发和防控等方面都发挥了重要的赋能作用。在疫情筛查环节，AI技术结合了人脸识别和热成像技术，通过非接触式快速检测，迅速识别出体温异常个体，有效降低了病毒传播的风险[16]。在辅助诊断方面， AI影像产品能够准确区分不同类型的肺炎，辅助医生早期预警、快速筛查、评估病变分期及预后[17]。在药物筛选方面，AI利用海量数据分析预测药物性质、疗效和副作用，快速筛选候选药物，缩短研发周期并降低成本。例如，科学家们采用深度学习AlphaFold 2的基本技术设计了一种新型COVID-19抗体，该抗体显著提升了对多种变异体的中和能力，增强了其解毒效力[18, 19]。此外，科研团队利用超大规模计算机辅助药物筛选和酶学测试相结合的策略，筛选出后来被证实有效的洛匹那韦(lopinavir)和瑞德西韦(Remdesivir)[20, 21]。在疫苗研发方面，Linear Design作为全球首个mRNA疫苗基因序列设计算法，显著提升了疫苗设计的稳定性和蛋白表达量，大幅提高了疫苗研发效率[22]。在疫情防控中，大数据和云计算技术也发挥了关键作用，如健康码、核酸码、行程码等工具有效识别风险人群、辅助核酸筛查并落实管控措施，显著提升了疫情防控工作的高效性和精准性[23]。

2、医疗AI应用的风险和挑战

尽管AI在我国医疗领域的应用潜力巨大，但目前其发展仍处于起步阶段。AI技术固有的数据依赖性和算法不透明性等特性，也带来了一系列风险和挑战。

2.1 隐私保护方面

医疗AI的研发高度依赖海量医疗数据，包括患者身份信息、生物基因信息、诊疗记录及随访数据等敏感隐私数据[24],随着大数据分析、信息共享和云端存储等技术的广泛应用，医疗数据泄露的风险显著上升。数据一旦泄露可能使个人面临名誉受损、歧视及暴力等风险，在极端情况下，还可能对社会稳定和国家安全构成严重威胁[25]。例如，患者生物基因信息若遭非法窃取，可能面临基因歧视等侵害，进而在社会中遭受不公待遇，对其教育、就业及婚姻等生活产生深刻影响。此外，医疗数据泄露，尤其是传染病患者的诊疗记录，可能引发社会恐慌，扰乱正常社会秩序，甚至对国家安全构成潜在风险。更为严重的是，若这些数据被敌对势力掌握，可能用于制定攻击策略，对国家安全和稳定构成重大威胁。2017年9月，某部委的医疗信息系统遭到黑客攻破，泄露的公民信息超过7亿条，其中超过8千万条被非法交易[26],严重危害公众利益，易引发诈骗案件，威胁人身安全；另一起案例发生在2020年，中国汇医慧影AI公司因信息安全防护不足，被黑客成功入侵，导致其新冠研究成果、检测技术源代码以及大量用户数据被公开出售，这一事件在医疗AI领域引起了极大震动和关注。

2.2 医疗风险方面

医学作为一门高度专业化的实践学科，其内在的风险和不确定性给诊疗工作带来了诸多挑战。不同于传统临床医生的偶发性失误，医学AI广泛应用的特性意味着一旦出现故障或错误，其后果可能极为严重和广泛。例如，IBM Watson for Oncology就曾因其应用程序产生许多“不安全和不正确”的治疗建议而遭到强烈批评[27],其主要问题在于核心算法仅基于有限数量的癌症患者数据，且治疗建议仅根据个别医生的建议而非既定治疗准则。此外，技术故障或操作失误也可能导致严重的医疗事故。据Business Insider报道，手术机器人达芬奇曾导致71起患者死亡事件，原因包括出血、感染、心脏骤停、多器官功能衰竭等[28]。尽管AI技术，特别是像ChatGPT这样的大语言模型，在医疗领域展现出巨大潜力，但由于其多基于多层复杂神经网络，算法逻辑尚不透明，因此无法保证其输出结果的安全性[29]。在医疗领域，信息的准确性和可靠性至关重要，任何误导性建议或错误诊断都可能对患者的健康造成不可逆转的伤害。因此，尽管大语言模型为医疗领域带来了新机遇，但其现存问题仍对医学应用构成制约。

2.3 公平受益方面

医疗AI给大部分患者带来福音的同时，也暴露出医疗资源分配不均的复杂社会问题。具体表现在以下3个方面：首先，存在偏差和歧视的潜在风险。医疗AI的训练数据可能隐含着多种偏差和歧视因素，如输入数据的抽样偏差、算法设计者的主观价值偏好等。特别是，当疾病结果与人口统计学因素(如年龄、性别、种族和身份等)密切关联时，这种偏差和歧视更为显著，可能导致预测结果不准确或不公平[30]。其次，医疗卫生资源本身存在分配不均衡问题。鉴于中国各地区经济发展水平的差异，AI的研发、推广在技术、数据和人力资本方面投资巨大[31],使得经济相对落后地区的群众难以享受到AI服务的优势[32]。最后，医疗AI的可负担性亦成为当前面临的重要挑战。作为新兴的医学高新技术，医疗AI的研发成本高昂，部分AI设备在临床应用中收费昂贵，且往往不在医疗保险报销范畴，使得广大患者难以负担。例如，达芬奇机器人等高端医疗技术在我国保有量低，主要集中于大型三甲医院，高昂的手术费用限制其广泛应用，加剧了医疗服务的不平等[25]。

2.4 接受信任方面

AI在学习和运算方面远超人类，目前在医学影像诊断、辅助决策等核心医疗环节中的作用日益凸显。然而，当前许多医疗AI产品尚处于初级阶段，导致其接受度和信任度在公众中呈现分化态势。在患者群体中，部分患者认为在线挂号、线上就诊等方式高效便捷，节省大量时间和精力；另一部患者则对AI系统的诊疗效果和隐私保护能力持怀疑态度，尤其当传统的“医患交流”变成“人机对话”时，这种怀疑和不信任感尤为强烈[33]。在医生群体中，对AI的态度亦存在显著差异。部分医生对AI充满信心，认为机器掌握的知识体系远超人类，在临床诊疗中高度依赖AI进行决策；部分医生则高度怀疑AI的准确度和适用性，认为许多AI产品基于国外训练数据和研究结论开发，其诊疗建议不适用于中国本土医疗环境。此外，医生还普遍担忧AI出错导致的责任归属问题，还有部分医生持完全否定和排斥态度，认为AI会取代他们的工作。

3、应对医疗AI运用中风险的对策建议

3.1 数据安全方面

医疗AI发生数据泄露的主要原因在于：法律制度尚未健全，数据在收集、存储、使用、传输、公开等环节缺乏隐私保护的有效监管和约束[30];医疗机构技术力量有限，系统安全性较低，第三方平台存在漏洞多、敏感端口开放多等安全隐患，给黑客入侵带来机会；内部管理缺陷，缺乏定期的安全审计和风险评估，潜在威胁无法及时发现和处理；工作人员数据安全意识薄弱，未按规范管理、研发、传输和使用数据，导致有意或无意泄露、丢失数据。

为确保数据安全，建议综合运用设施建设、技术防护、制度完善及员工教育等多重手段，具体建议如下：①加强安全设施建设：根据《国家网络安全保障体系》,完善医疗信息的基础设施建设，提高医疗信息系统的安全性和防护能力[25]。②切实加强技术防护：定期检测系统安全性，及时修复、更新软硬件，消除安全漏洞，配备先进防病毒软件和防火墙，有效抵御外部攻击和恶意软件侵害。③完善安全管理和监管制度：建立行业内数据安全管理制度及惩罚机制，制定数据流通过程中的安全标准和监管制度[34]。④强化人员意识：加强从业人员的安全培训和伦理教育，提高数据保护意识，提升职业道德水准，自觉维护数据安全。

3.2 医疗风险方面

医疗AI存在安全隐患的主要原因在于：①算法“黑箱”性，即算法内部决策过程不透明[35];②设计局限性，很多AI工程师对医学复杂性估计不足，不熟悉医疗流程，仅从数据角度开发模型，造成产品适用性差；③数据偏倚，当前AI算法的准确性高度依赖于训练数据的准确性，如果数据有误或缺陷，可能会导致错误模型的产生；④人为因素，医疗AI产品尚处于发展初期，技术应用尚未完善，医生可能因经验不足或操作不熟练而引发机器故障，甚至引发医疗事故[25]。

医疗AI直接参与临床诊疗实践，如果不加以严格管控，将对公民的生命安全造成严重威胁和损害，为此提出以下建议：①提升算法透明度及其可解释性：推动医疗AI开发向高透明度、易理解的方向发展，借鉴Google“Explainable AI”等工具，使AI决策过程清晰化，揭示算法决策的原因、依据和过程[36],增加医疗产品的安全性。②促进跨学科团队协作：医疗AI产品的研发应由多领域专家进行深度合作，融合医学实践与AI技术，共同制定产品标准和规范，确保AI产品既符合临床需求又具备先进技术水平。③全面提升训练数据质量：数据是AI构建的基石，应由医学、信息学、人工智能等不同领域的专家共同制定数据治理标准和规范，构建稳定的数据治理体系，确保数据准确、规范、有时效和可用，以构建高质量、标准化的训练数据库。④加强人员培训与设备维护：强化从业人员的技能，提升应急处理能力，制定紧急备用方案以降低操作风险。同时，定期对AI设备进行维护、检修与迭代升级，预防故障的发生[30]。

3.3 公平受益方面

医疗AI受益不公的主要原因如下：数据标准化不足，阻碍AI技术的有效应用；算法歧视问题突出，可能损害部分患者权益；医疗资源分配不公正，产品未充分考虑弱势群体需求；产品成本高昂，使得经济欠发达地区难以承担，限制了医疗AI技术的普及和应用。

要解决这一问题，需国家政策扶持，加大对落后地区的投资力度，培养专业人才队伍，推动AI技术均衡发展。为此，提出以下建议：①制定行业标准：推动医疗数据标准化和规范化建设，打破数据孤岛，实现数据融合与持续更新[37]。②规避和矫正算法歧视：AI系统的研发、使用和管理过程中都要保证公平正义，从算法决策、编码设计到临床应用等不同层面，均不得对特定个人或群体产生偏见和歧视[38]。③促进医疗卫生资源分配公正：政府应推动AI医学应用的公正分配，关注弱势群体和地区，通过社会互助和医疗保险系统，不断缩小智能鸿沟，促进医疗公平。④降低产品成本：探索合理收费方式，加强自主创新，提高核心竞争力，减少行业垄断，努力降低医疗AI的研发和运营成本。另外，有必要从国家层面，对医疗AI产品展开卫生经济学评价，制定合理的收费标准。

3.4 接受信任方面

医患双方对医疗AI的不信任源于多重因素：患者对AI技术了解不足，对其在医疗领域的实际应用持怀疑态度，并对隐私安全深感担忧；医生因缺乏充分的AI学习培训，对医疗AI的优劣认识不足，导致使用信心不足，同时担心职业被取代；医疗AI系统的复杂性加剧了医患间的信息不对称，医生难以解释AI的决策逻辑，患者亦难以理解其科学基础；此外，数据保护和责任归属等尚未解决的伦理法律问题亦削弱了公众对医疗AI的信心。

为此，提出以下建议：①加大宣传教育：提高普通群众的认知素养，帮助群众了解医疗AI的发展现状、使用情况、诊疗性能及信息安全性等。②引导医生正确理性看待AI:应强调警惕与信任并存的态度，当前多数AI产品尚处于发展初期，过度依赖可能引发医源性风险；另一方面，应避免过度担忧，医疗行业涉及复杂的人际沟通与情感投入，AI难以替代，医疗AI应定位为医生的辅助工具，旨在提高工作效率，医生应作为决策主体，保留最终决策权。③提升医疗AI决策透明度并加强医患沟通：应研发透明化的AI算法，利用可视化工具展示其决策过程，便于医生阐释逻辑，同时强化对医生的培训，深化其对AI决策依据的理解与传达能力，并通过患者教育机制普及医疗AI知识，消除患者疑虑，加强医患互信。④规范伦理和法律框架：通过制定法律法规来明确责任归属，加强公众教育和倡导多方合作以共同应对伦理挑战，构建一个更加透明、公正和可信赖的AI应用环境。

4、结语

随着AI技术在医疗领域的广泛应用，医疗模式正在经历从传统经验医学到精准医学、智慧医学的深刻变革。然而，在这一变革过程中，医疗AI的风险挑战也日益凸显。为了应对这些挑战，我们亟需采取一系列专业措施，包括加强数据流通全流程的安全防护、研发透明且具有可解释性的AI产品、制定行业标准规避算法歧视，以及加强宣传教育提升公众信任度等。只有多方共同努力，才能确保AI技术更好地服务于医疗领域，并在保护患者隐私和权益的同时，推动医疗行业的创新和进步。

参考文献:

[1]赵汉澜,钟敏.关于我国“看病难､看病贵”的困境与政策改进[J].农村经济与科技,2019,30(16):149-150.

[2]周伟娜,张凯秀.人工智能机器人在核医学病房中的初步应用与展望[J].国际放射医学核医学杂志,2020,44(12):750-754.

[3]李晓理,张博,王康,等.人工智能的发展及应用[J].北京工业大学学报,2020,46(6):583-590.

[4]孙效华,张义文,侯璐,等.人工智能产品与服务体系研究综述[J].包装工程,2020,41(10):49-61.

[8]张育红,张玉侠.智能化健康护理管理平台建设探索[J].中西医结合护理,2022,8(5):117-121.

[12]赵嘉莹,高鹏,朱勇俊,等.人工智能的应用将改进中国基层医疗卫生服务效能[J].中国全科学,2017,20(34):4219-4223.

[13]陈兆祯.“智医助理”在基层医疗服务的应用与探索——以安徽省试点地区寿县的实践为例[J].哈尔滨医药,2021,41(4):108-110.

[14]李茵.面向医院管理的数据驱动决策研究[D].长春:吉林大学,2021.

[15]编辑部.乌镇互联网医院:玩转“指尖上的医院”[J].信息化建设,2018(9):29.

[16]彭骏,吉纲,张艳红,等.精准人脸识别及测温技术在疫情防控中的应用——普利商用精准识别技术典型案例[J].软件导刊,2020,19(10):8-14.

[17]康波,郭佳,王帅,等.超级计算支撑的新冠肺炎CT影像综合分析辅助系统应用[J].中国图象图形学报,2020,25(10):2142-2150.

[23]关子良.疫情防控综合管理平台设计与实现[J].信息技术与信息化,2022(7):42-46.

[24]郭子菁,罗玉川,蔡志平,等.医疗健康大数据隐私保护综述[J].计算机科学与探索,2021,15(3):389-402.

[25]王姗姗.人工智能医学应用的伦理研究[D].北京:北京协和医学院,2020.

[26]王敏.大数据时代个人隐私的分级保护研究[M].北京:社会科学文献出版社,2018.

[28]黄清华,王诚丽.警惕机器人辅助手术并发症[N].中国科学报,2019-08-19(005).

[29]李晓洁,刘瑞爽,丛亚丽.ChatGPT在医疗健康领域应用的伦理挑战及治理建议[J].中华医学信息导报,2023,38(8):5.

[30]刘伶俐,王端,王力钢.医疗人工智能应用中的伦理问题及应对[J].医学与哲学,2020,41(14):28-32.

基金资助:上海市科技创新行动计划(20511101200);

文章来源:王燕萍,金钢,赵佳,等.我国医疗人工智能的应用现状､风险及对策建议[J].卫生软科学,2024,38(10):74-78.