“AI帮你一分钟搞定问诊开药”被叫停！如何为人工智能应用划红线？

摘要：当前，多家医院引入人工智能，并将其应用于临床、科研等多个场景。甚至，有营销宣传声称——“AI帮你一分钟搞定问诊、开药”。近期，湖南省医保局印发通知明确规定：“严禁使用 AI人工智能等自动生成处方”，引发网络热议。围绕人工智能应用场景的合规、人工智能技术应用需要

当前，多家医院引入人工智能，并将其应用于临床、科研等多个场景。甚至，有营销宣传声称——“AI帮你一分钟搞定问诊、开药”。近期，湖南省医保局印发通知明确规定：“严禁使用 AI人工智能等自动生成处方”，引发网络热议。围绕人工智能应用场景的合规、人工智能技术应用需要框定的法律红线等问题，日前，法治网研究院邀请杭州互联网法院跨境贸易法庭庭长肖芄、广州互联网法院综合审判三庭庭长曹钰、中国法学会网络与信息法学研究会副会长王立梅、北京邮电大学人工智能法律研究中心主任崔聪聪、《法治日报》律师专家库成员涂崇禹，展开一场深度对谈。

法治网研究院：近期，湖南省医保局发布《关于进一步加强基本医疗保障定点零售药店管理的通知》要求，互联网医院须按规定接入省医保电子处方中心并进行电子处方流转，严禁使用 AI 人工智能等自动生成处方。事实上，关于人工智能自动生成处方，相关政策早有禁令。在国家卫生健康委2022年发布的《互联网诊疗监管细则（试行）》中，曾明确提出，处方应由接诊医师本人开具，严禁使用人工智能等自动生成处方。您认为，为什么要做此规定？

王立梅：严禁使用人工智能等自动生成处方具有法律上的正当性和合理性。处方作为患者用药凭证的医疗文书，受到《中华人民共和国医师法》《中华人民共和国药品管理法》《医疗机构管理条例》《处方管理办法》等法律规范约束。

首先，人工智能不具备从事医疗活动的主体资格。《中华人民共和国医师法》《中华人民共和国刑法》等均规定，从事诊疗活动必须持有医师资格证，而人工智能不具备法律人格，无法取得行医资格。若赋予AI开具处方的权利，将直接冲击现行法律体系对医疗行为的准入规则，导致责任主体模糊化，患者权益难以保障。

其次，患者享有知情权和健康权，人工智能生成处方无法充分体现医师的专业判断和个体化诊疗原则，增加医疗风险。

最后，人工智能生成处方还涉及患者数据隐私与安全问题，若管理不当，可能引发数据泄露风险，加剧患者隐私侵害问题。

崔聪聪：关于禁止使用人工智能自动生成处方的规定，是基于医疗安全、责任认定和技术规范的全面考量而制定的重要政策，主要有以下两方面的考虑——

一是处方开具涉及疾病诊断、药物禁忌及患者个体差异等复杂因素，需由具备临床资质的专业医师基于实际问诊结果审慎判断。AI现阶段无法完全替代医师对病情动态的综合分析能力，贸然应用可能引发用药风险，危及患者健康。

二是现行法规要求医师对处方终身负责，若由AI生成处方，将导致责任归属模糊，影响医疗质量追溯与纠纷处理。

涂崇禹：医疗处方的开具需基于对患者个体状况的综合评估，而AI目前尚无法完全替代医师的临床判断能力。且若处方由AI生成，责任主体将变得模糊。

与此同时，有医疗机构或药店可能利用AI快速生成处方，绕过实际诊疗流程违规操作，甚至虚构诊疗记录套取医保基金。若AI生成处方缺乏有效监督，可能导致超量开药、高价药品滥用等问题。

诊疗需医师通过问诊、查体等方式与患者沟通，以动态调整治疗方案。尽管AI技术有潜力提升效率，但其应用需与监管框架同步。医疗行为的技术应用需以安全与合规为前提。AI或可在限定场景下发挥更积极的辅助作用，但其核心决策权仍需由医疗专业人员掌握。

法治网研究院：事实上，当前，人工智能的应用场景越来越广泛，也给人们的生活和工作带来了极大的便利。同时，还有一种代表性观点认为，要对人工智能技术滥用风险提高警惕，特别是其当前已经暴露出来的一些法律空白地带。您认为目前阶段，对于人工智能在一些领域的应用，从法律人的专业视角，应当如何客观理性看待，是否也需要持有包容审慎的态度？

肖芄：技术的运用是把双刃剑，用之为善可以造福社会，不当滥用则会造成社会风险和损害。

当前，AI技术已经深度融入诸多领域。AI技术本身是中立无害的，技术本身也不应当直接受到法律的负面评价，但技术中立并不意味着价值中立，特别是开发、应用者的价值中立，更不等于AI的参与者不应当受到来自法律的规制、道德伦理的约束。对于AI技术在一些领域的滥用风险，需要提高警惕。

王立梅：以医疗领域为例，我认为，应着眼平衡技术创新与风险防控，推动人工智能医疗应用的规范化发展，确保其合法、安全且符合社会伦理。

规范人工智能在医疗场景的应用，应遵循以下规则：一是，应重申《中华人民共和国医师法》的刚性约束，明确人工智能的工具属性和辅助地位，医师仍是最终决策的责任主体，同时建立清晰的追责机制。二是，有关垂类模型需具备可解释性，确保决策透明，并通过伦理审查，尊重患者知情同意权。三是，在技术层面，应制定准入标准，对智能应用进行动态监管，确保其安全性和有效性，并禁止人工智能在高风险场景中自主决策。四是，人工智能使用的医疗数据必须符合有关法律法规，严格保护患者隐私，确保数据安全。

崔聪聪：关于人工智能技术的“双刃剑”问题，需要辩证看待。人工智能作为前沿技术，虽在工作生活服务等方面价值显著，但其应用边界与风险管控不可忽视。

第一，人工智能在医疗、司法、金融等高风险领域的深度介入，可能引发数据隐私泄露、算法歧视、责任认定模糊等问题。当前技术尚未完全解决可解释性与决策透明性难题，需通过完善立法明确技术应用边界，建立分级分类监管体系，防止技术滥用损害公众权益。

第二，从技术研发到场景落地，应建立伦理审查、安全评估与动态监测机制。例如，在涉及人身健康、公共安全等重点领域，需设置“人工介入”强制条款，确保关键决策始终处于可控范围。

第三，应建立包容审慎的人工智能技术协同治理生态。通过立法、技术标准制定、行业自律公约、公众参与监督等方式，形成发展与规范并重的长效机制，营造良好的人工智能研发与落地环境。

涂崇禹：人工智能技术的迅猛发展，确实为生产生活带来了前所未有的便利，但其潜在风险和法律伦理挑战也日益凸显。尤其是在医疗、司法、金融、公共安全等涉及人类生命健康、社会公平和核心利益的领域，审慎对待AI的应用是人类社会可持续发展的重要前提，应在技术赋能与风险防控之间寻求动态平衡。如在自动驾驶、医疗诊断等领域，AI的决策逻辑往往缺乏透明性（即“算法黑箱”），一旦发生事故或错误，责任主体难以界定。现有法律体系尚未形成明确规则，可能导致维权困难。人脸识别、个性化推荐等技术依赖海量数据，但数据采集、存储和使用过程中存在侵权风险。

个人建议，在涉及生命健康等高风险领域设立技术禁区；动态完善规则，强制合规审查，低风险领域则鼓励自律；立法界定AI开发、部署、使用各环节主体责任；区分AI应用的场景和风险级别分级分类管理和协同治理，培养开发者的伦理意识，鼓励企业将社会责任纳入技术创新。

法治网研究院：在您看来，接下来，需要为人工智能技术应用框定哪些基本红线？您对于相关乱象治理又有什么建议和提醒？

曹钰：统筹发展和安全是科技法治的重要原则。在鼓励发展的同时，应当至少从以下几个方面为人工智能技术应用框定红线：一是国家安全、经济和社会秩序风险红线；二是数据安全与隐私保护红线；三是伦理道德与社会公德红线；四是知识产权保护红线；五是市场竞争公平性红线。

从法律角度看，应当关注人工智能的数据训练、算法设计、模型生成和优化、服务提供各环节，明确人工智能技术应用者在数据处理、算法设计、标记标识、权益分配与保护、市场竞争等方面的义务和责任，确保人工智能技术应用始终在安全可靠、向上向善的轨道上发展。

肖芄：针对AI技术滥用乱象，需要有关方面不断完善法律法规，进一步细化AI技术滥用的侵权类型，明确各个环节的主体责任，确立媒介平台的技术检测义务和过滤删除责任，确实需要以法律为AI技术应用框定红线。

同时，进一步引导技术开发、应用者自觉遵守法律规定和科技伦理道德，培育积极健康、向上向善的研发、应用环境，保护和鼓励新兴智能技术的有益探索。

作为社会公众，对疑似AI生成的信息内容应保持警惕，不要对此类生成信息进行盲目传播、扩散，在利用AI技术生成相关内容时要获得权利人同意，尊重社会公德和伦理道德。

专家简介