“AI幫你一分鐘搞定問診開藥”被叫停！如何為人工智能應(yīng)用劃紅線？

2025-03-27 16:05:17 來源：法治網(wǎng)微信公眾號 -標(biāo)準(zhǔn)+

當(dāng)前，多家醫(yī)院引入人工智能，并將其應(yīng)用于臨床、科研等多個場景。甚至，有營銷宣傳聲稱——“AI幫你一分鐘搞定問診、開藥”。近期，湖南省醫(yī)保局印發(fā)通知明確規(guī)定：“嚴(yán)禁使用 AI人工智能等自動生成處方”，引發(fā)網(wǎng)絡(luò)熱議。圍繞人工智能應(yīng)用場景的合規(guī)、人工智能技術(shù)應(yīng)用需要框定的法律紅線等問題，日前，法治網(wǎng)研究院邀請杭州互聯(lián)網(wǎng)法院跨境貿(mào)易法庭庭長肖芄、廣州互聯(lián)網(wǎng)法院綜合審判三庭庭長曹鈺、中國法學(xué)會網(wǎng)絡(luò)與信息法學(xué)研究會副會長王立梅、北京郵電大學(xué)人工智能法律研究中心主任崔聰聰、《法治日報》律師專家?guī)斐蓡T涂崇禹，展開一場深度對談。

01 法治網(wǎng)研究院：近期，湖南省醫(yī)保局發(fā)布《關(guān)于進(jìn)一步加強(qiáng)基本醫(yī)療保障定點(diǎn)零售藥店管理的通知》要求，互聯(lián)網(wǎng)醫(yī)院須按規(guī)定接入省醫(yī)保電子處方中心并進(jìn)行電子處方流轉(zhuǎn)，嚴(yán)禁使用 AI 人工智能等自動生成處方。事實(shí)上，關(guān)于人工智能自動生成處方，相關(guān)政策早有禁令。在國家衛(wèi)生健康委2022年發(fā)布的《互聯(lián)網(wǎng)診療監(jiān)管細(xì)則（試行）》中，曾明確提出，處方應(yīng)由接診醫(yī)師本人開具，嚴(yán)禁使用人工智能等自動生成處方。您認(rèn)為，為什么要做此規(guī)定？

王立梅：嚴(yán)禁使用人工智能等自動生成處方具有法律上的正當(dāng)性和合理性。處方作為患者用藥憑證的醫(yī)療文書，受到《中華人民共和國醫(yī)師法》《中華人民共和國藥品管理法》《醫(yī)療機(jī)構(gòu)管理?xiàng)l例》《處方管理辦法》等法律規(guī)范約束。

首先，人工智能不具備從事醫(yī)療活動的主體資格?！吨腥A人民共和國醫(yī)師法》《中華人民共和國刑法》等均規(guī)定，從事診療活動必須持有醫(yī)師資格證，而人工智能不具備法律人格，無法取得行醫(yī)資格。若賦予AI開具處方的權(quán)利，將直接沖擊現(xiàn)行法律體系對醫(yī)療行為的準(zhǔn)入規(guī)則，導(dǎo)致責(zé)任主體模糊化，患者權(quán)益難以保障。

其次，患者享有知情權(quán)和健康權(quán)，人工智能生成處方無法充分體現(xiàn)醫(yī)師的專業(yè)判斷和個體化診療原則，增加醫(yī)療風(fēng)險。

最后，人工智能生成處方還涉及患者數(shù)據(jù)隱私與安全問題，若管理不當(dāng)，可能引發(fā)數(shù)據(jù)泄露風(fēng)險，加劇患者隱私侵害問題。

崔聰聰：關(guān)于禁止使用人工智能自動生成處方的規(guī)定，是基于醫(yī)療安全、責(zé)任認(rèn)定和技術(shù)規(guī)范的全面考量而制定的重要政策，主要有以下兩方面的考慮——

一是處方開具涉及疾病診斷、藥物禁忌及患者個體差異等復(fù)雜因素，需由具備臨床資質(zhì)的專業(yè)醫(yī)師基于實(shí)際問診結(jié)果審慎判斷。AI現(xiàn)階段無法完全替代醫(yī)師對病情動態(tài)的綜合分析能力，貿(mào)然應(yīng)用可能引發(fā)用藥風(fēng)險，危及患者健康。

二是現(xiàn)行法規(guī)要求醫(yī)師對處方終身負(fù)責(zé)，若由AI生成處方，將導(dǎo)致責(zé)任歸屬模糊，影響醫(yī)療質(zhì)量追溯與糾紛處理。

涂崇禹：醫(yī)療處方的開具需基于對患者個體狀況的綜合評估，而AI目前尚無法完全替代醫(yī)師的臨床判斷能力。且若處方由AI生成，責(zé)任主體將變得模糊。

與此同時，有醫(yī)療機(jī)構(gòu)或藥店可能利用AI快速生成處方，繞過實(shí)際診療流程違規(guī)操作，甚至虛構(gòu)診療記錄套取醫(yī)?；?。若AI生成處方缺乏有效監(jiān)督，可能導(dǎo)致超量開藥、高價藥品濫用等問題。

診療需醫(yī)師通過問診、查體等方式與患者溝通，以動態(tài)調(diào)整治療方案。盡管AI技術(shù)有潛力提升效率，但其應(yīng)用需與監(jiān)管框架同步。醫(yī)療行為的技術(shù)應(yīng)用需以安全與合規(guī)為前提。AI或可在限定場景下發(fā)揮更積極的輔助作用，但其核心決策權(quán)仍需由醫(yī)療專業(yè)人員掌握。

02 法治網(wǎng)研究院：事實(shí)上，當(dāng)前，人工智能的應(yīng)用場景越來越廣泛，也給人們的生活和工作帶來了極大的便利。同時，還有一種代表性觀點(diǎn)認(rèn)為，要對人工智能技術(shù)濫用風(fēng)險提高警惕，特別是其當(dāng)前已經(jīng)暴露出來的一些法律空白地帶。您認(rèn)為目前階段，對于人工智能在一些領(lǐng)域的應(yīng)用，從法律人的專業(yè)視角，應(yīng)當(dāng)如何客觀理性看待，是否也需要持有包容審慎的態(tài)度？

肖芄：技術(shù)的運(yùn)用是把雙刃劍，用之為善可以造福社會，不當(dāng)濫用則會造成社會風(fēng)險和損害。

當(dāng)前，AI技術(shù)已經(jīng)深度融入諸多領(lǐng)域。AI技術(shù)本身是中立無害的，技術(shù)本身也不應(yīng)當(dāng)直接受到法律的負(fù)面評價，但技術(shù)中立并不意味著價值中立，特別是開發(fā)、應(yīng)用者的價值中立，更不等于AI的參與者不應(yīng)當(dāng)受到來自法律的規(guī)制、道德倫理的約束。對于AI技術(shù)在一些領(lǐng)域的濫用風(fēng)險，需要提高警惕。

王立梅：以醫(yī)療領(lǐng)域?yàn)槔艺J(rèn)為，應(yīng)著眼平衡技術(shù)創(chuàng)新與風(fēng)險防控，推動人工智能醫(yī)療應(yīng)用的規(guī)范化發(fā)展，確保其合法、安全且符合社會倫理。

規(guī)范人工智能在醫(yī)療場景的應(yīng)用，應(yīng)遵循以下規(guī)則：一是，應(yīng)重申《中華人民共和國醫(yī)師法》的剛性約束，明確人工智能的工具屬性和輔助地位，醫(yī)師仍是最終決策的責(zé)任主體，同時建立清晰的追責(zé)機(jī)制。二是，有關(guān)垂類模型需具備可解釋性，確保決策透明，并通過倫理審查，尊重患者知情同意權(quán)。三是，在技術(shù)層面，應(yīng)制定準(zhǔn)入標(biāo)準(zhǔn)，對智能應(yīng)用進(jìn)行動態(tài)監(jiān)管，確保其安全性和有效性，并禁止人工智能在高風(fēng)險場景中自主決策。四是，人工智能使用的醫(yī)療數(shù)據(jù)必須符合有關(guān)法律法規(guī)，嚴(yán)格保護(hù)患者隱私，確保數(shù)據(jù)安全。

崔聰聰：關(guān)于人工智能技術(shù)的“雙刃劍”問題，需要辯證看待。人工智能作為前沿技術(shù)，雖在工作生活服務(wù)等方面價值顯著，但其應(yīng)用邊界與風(fēng)險管控不可忽視。

第一，人工智能在醫(yī)療、司法、金融等高風(fēng)險領(lǐng)域的深度介入，可能引發(fā)數(shù)據(jù)隱私泄露、算法歧視、責(zé)任認(rèn)定模糊等問題。當(dāng)前技術(shù)尚未完全解決可解釋性與決策透明性難題，需通過完善立法明確技術(shù)應(yīng)用邊界，建立分級分類監(jiān)管體系，防止技術(shù)濫用損害公眾權(quán)益。

第二，從技術(shù)研發(fā)到場景落地，應(yīng)建立倫理審查、安全評估與動態(tài)監(jiān)測機(jī)制。例如，在涉及人身健康、公共安全等重點(diǎn)領(lǐng)域，需設(shè)置“人工介入”強(qiáng)制條款，確保關(guān)鍵決策始終處于可控范圍。

第三，應(yīng)建立包容審慎的人工智能技術(shù)協(xié)同治理生態(tài)。通過立法、技術(shù)標(biāo)準(zhǔn)制定、行業(yè)自律公約、公眾參與監(jiān)督等方式，形成發(fā)展與規(guī)范并重的長效機(jī)制，營造良好的人工智能研發(fā)與落地環(huán)境。

涂崇禹：人工智能技術(shù)的迅猛發(fā)展，確實(shí)為生產(chǎn)生活帶來了前所未有的便利，但其潛在風(fēng)險和法律倫理挑戰(zhàn)也日益凸顯。尤其是在醫(yī)療、司法、金融、公共安全等涉及人類生命健康、社會公平和核心利益的領(lǐng)域，審慎對待AI的應(yīng)用是人類社會可持續(xù)發(fā)展的重要前提，應(yīng)在技術(shù)賦能與風(fēng)險防控之間尋求動態(tài)平衡。如在自動駕駛、醫(yī)療診斷等領(lǐng)域，AI的決策邏輯往往缺乏透明性（即“算法黑箱”），一旦發(fā)生事故或錯誤，責(zé)任主體難以界定?，F(xiàn)有法律體系尚未形成明確規(guī)則，可能導(dǎo)致維權(quán)困難。人臉識別、個性化推薦等技術(shù)依賴海量數(shù)據(jù)，但數(shù)據(jù)采集、存儲和使用過程中存在侵權(quán)風(fēng)險。

個人建議，在涉及生命健康等高風(fēng)險領(lǐng)域設(shè)立技術(shù)禁區(qū)；動態(tài)完善規(guī)則，強(qiáng)制合規(guī)審查，低風(fēng)險領(lǐng)域則鼓勵自律；立法界定AI開發(fā)、部署、使用各環(huán)節(jié)主體責(zé)任；區(qū)分AI應(yīng)用的場景和風(fēng)險級別分級分類管理和協(xié)同治理，培養(yǎng)開發(fā)者的倫理意識，鼓勵企業(yè)將社會責(zé)任納入技術(shù)創(chuàng)新。

03 法治網(wǎng)研究院：在您看來，接下來，需要為人工智能技術(shù)應(yīng)用框定哪些基本紅線？您對于相關(guān)亂象治理又有什么建議和提醒？

曹鈺：統(tǒng)籌發(fā)展和安全是科技法治的重要原則。在鼓勵發(fā)展的同時，應(yīng)當(dāng)至少從以下幾個方面為人工智能技術(shù)應(yīng)用框定紅線：一是國家安全、經(jīng)濟(jì)和社會秩序風(fēng)險紅線；二是數(shù)據(jù)安全與隱私保護(hù)紅線；三是倫理道德與社會公德紅線；四是知識產(chǎn)權(quán)保護(hù)紅線；五是市場競爭公平性紅線。

從法律角度看，應(yīng)當(dāng)關(guān)注人工智能的數(shù)據(jù)訓(xùn)練、算法設(shè)計(jì)、模型生成和優(yōu)化、服務(wù)提供各環(huán)節(jié)，明確人工智能技術(shù)應(yīng)用者在數(shù)據(jù)處理、算法設(shè)計(jì)、標(biāo)記標(biāo)識、權(quán)益分配與保護(hù)、市場競爭等方面的義務(wù)和責(zé)任，確保人工智能技術(shù)應(yīng)用始終在安全可靠、向上向善的軌道上發(fā)展。

肖芄：針對AI技術(shù)濫用亂象，需要有關(guān)方面不斷完善法律法規(guī)，進(jìn)一步細(xì)化AI技術(shù)濫用的侵權(quán)類型，明確各個環(huán)節(jié)的主體責(zé)任，確立媒介平臺的技術(shù)檢測義務(wù)和過濾刪除責(zé)任，確實(shí)需要以法律為AI技術(shù)應(yīng)用框定紅線。

同時，進(jìn)一步引導(dǎo)技術(shù)開發(fā)、應(yīng)用者自覺遵守法律規(guī)定和科技倫理道德，培育積極健康、向上向善的研發(fā)、應(yīng)用環(huán)境，保護(hù)和鼓勵新興智能技術(shù)的有益探索。

作為社會公眾，對疑似AI生成的信息內(nèi)容應(yīng)保持警惕，不要對此類生成信息進(jìn)行盲目傳播、擴(kuò)散，在利用AI技術(shù)生成相關(guān)內(nèi)容時要獲得權(quán)利人同意，尊重社會公德和倫理道德。

專家簡介