□ 蔡培如

歐盟《人工智能法案》是全球首部對人工智能進行全面監(jiān)管的綜合性立法，其中，因一定情形下的社會評分被認定為會產生“不可接受的風險”而禁止在歐盟使用。

歐盟人工智能立法理路與社會評分受禁背景

基于人工智能系統(tǒng)應用對基本權利所產生的損害風險，歐盟將人工智能分為“低風險”“有限風險”“高風險”“不可接受的風險”四個等級，并施加強度不同監(jiān)管要求（即“基于風險的路徑”），形成“成比例的監(jiān)管體系”。其中，“不可接受的風險”指可能被濫用，可能為實施操縱、剝削和社會控制行為提供新穎而強大的工具，與歐盟價值觀相悖的人工智能應用風險。

具體就社會評分受禁的背景而言，歐洲一些國家正在采用以風險評估為代表的社會評分，這引發(fā)了不透明、大規(guī)模監(jiān)控、歧視等問題。在SCHUFA案中，歐盟法院根據(jù)《通用數(shù)據(jù)保護條例》（GDPR）第22條，認為原則上應禁止使用完全自動化決策。本次人工智能立法正是對數(shù)據(jù)法規(guī)范模式的補充和完善。

什么樣的社會評分屬于不可接受的風險

根據(jù)《人工智能法案》第5（1）（c）條規(guī)定，可以從主體要件、目的要件、手段要件和效果要件四個方面認識受禁止社會評分的立法演進及具體構成。

（一）主體要件的變化：不再限于公共機構

最初，只有公共機構或者其代表實施的社會評分行為才屬于受禁止的范圍，隨后歐盟意識到私人開展的社會評分同樣可能產生無法接受的風險，立法便將受禁主體擴展到私人。

（二）目的要件的變化：不再要求“以一般用途為目的”

起初立法禁止的是為一般用途而對自然人進行的社會評分，具體可能指對個人可信度或對個人總體道德水平的評估。后期的立法刪去了目的要件，于是出于任何目的的社會評分都可以落入禁止范疇。

（三）手段要件的變化：數(shù)據(jù)源的擴展

首先，在數(shù)據(jù)類型方面，社會評分是對多重場景下的“社會行為”數(shù)據(jù)或“個人的或人格的數(shù)據(jù)”作出的分類、評估。寬泛表達意在盡可能包含所有數(shù)據(jù)類型，以避免爭議。

其次，在數(shù)據(jù)來源方面，基于自然人已知的、推斷的、預測的個人的或人格的特征而作出的評估、分類都屬于社會評分，其中“推斷的”數(shù)據(jù)是后期增加的。

最后，在數(shù)據(jù)時間跨度方面，盡管最終文本未規(guī)定用以社會評分的數(shù)據(jù)是多時間點的，但要求社會評分是在一段時間內對個人所作的評估，這表明歐盟真正試圖禁止的是具有一定時間持續(xù)性的評分行為。

（四）效果要件：無實質變化

在立法過程中改動較少的“效果要件”，可分解為兩個需要同時滿足的條件：第一，社會評分對個人或其群體造成了不利對待；第二，上述不利對待至少存在如下兩個問題之一，其一，造成不利對待的社會場景與評分所使用的數(shù)據(jù)的產生或收集場景是不相關的，其二，不利對待不具有正當性，或與個人的社會行為及其嚴重程度是不成比例的。

綜上，歷經多方多次的提議、協(xié)商和妥協(xié)，受禁社會評分中的主體要件、目的要件不復存在，手段要件又極為寬泛，實際上只有效果要件才真正具有判斷價值。

為什么特定情形的社會評分會造成不可接受的風險

（一）以歐盟基本權利保護為目標的風險監(jiān)管體系

面對人工智能系統(tǒng)帶來的一系列問題，歐盟提出應當將實現(xiàn)和保障歐盟價值和基本權利作為人工智能立法的根本目標。其中，基本權利在內容上更具系統(tǒng)性和規(guī)范性，能夠為立法提供實質且明確的指引。

歐盟提出的一系列人工智能發(fā)展理念——可信賴的、以人為中心的、合倫理的人工智能，其實都是以基本權利保護為實現(xiàn)路徑。具體而言，人工智能系統(tǒng)只有在符合基本權利保護的前提下，才可以獲得人工智能的使用者和受用者的信賴，從而獲得更多的投資和更加廣泛的使用，這便是一條以人為中心的發(fā)展道路。可信賴的人工智能需符合三個標準：合法的、合倫理的、堅固的。前兩者在具體評估時都需要訴諸基本權利：既不能侵犯法律上規(guī)定的權利，又要保障基本權利所體現(xiàn)的個人因其人性而應當享有的道德權利。

（二）社會評分造成的普遍風險與不可接受的風險

社會評分可能產生的兩個主要風險為：侵犯自主性原則和侵犯公正原則。

在侵犯自主性原則方面，使用其他場景中產生的數(shù)據(jù)而對個人作出不利對待，可能會導致個體過度自我審查，嚴重損害個人自主性。

在侵犯公正原則方面，模型、算法、數(shù)據(jù)都可能鞏固或加劇歧視，違反非歧視性要求；使用脫離了具體場景的數(shù)據(jù)也可能已無法準確地作出社會評分；而那些社會評分自身是不公正的或懲戒上違反了比例原則的，自然就違反公正原則。

總之，基本權利侵害是判斷人工智能系統(tǒng)應用風險的最重要標準。禁止一定情形的社會評分主要是因其可能嚴重侵犯基本權利所保障的自主性原則和公正原則。

在人工智能立法中禁止社會評分有意義嗎

（一）受禁社會評分與其他法律規(guī)范的對接

在本次人工智能立法之前，GDPR可對社會評分進行一定限制，但無法容納所有本次立法禁止的社會評分情形。

其一，使用超出原初場景的數(shù)據(jù)所做的社會評分可以在一定范圍內與GDPR中“目的限制原則”對接?！澳康南拗圃瓌t”僅面向數(shù)據(jù)控制者收集的個人數(shù)據(jù)，未能納入非個人數(shù)據(jù)和通過其他方式“生成的”數(shù)據(jù)，而本次立法則實現(xiàn)了對所有用于社會評分的數(shù)據(jù)的輻射。

其二，社會評分下不公正的、不成比例的不利對待可以在一定范圍內與比例原則對接?！稓W盟基本權利憲章》第52條第1款直接限制了公共機構實施不符合比例原則的社會評分，而本次立法則基于基本權利的國家保護義務，通過立法形式將該原則貫徹到了私人開展的社會評分中。

（二）社會評分監(jiān)管思路的轉換

相較于GDPR以程序保護為主的規(guī)范模式，人工智能立法轉向了實質保護進路。GDPR第22條原則上禁止了信用機構實施的全自動化評分行為，而在三種豁免場景下，為個人提供了程序性權利保障，核心是確保自動化決策中人的在場（即“人在環(huán)路”）。

人工智能立法則直接鏈接到了人的尊嚴、自由、不受歧視等基本權利?；诖?，本次立法的進步之處是：將適用范圍擴展到所有人工智能系統(tǒng)，而不論系統(tǒng)的自動化程度為何；將對個人或其群體實施的不利對待均納入規(guī)范范圍；不利對待不局限于法律行為，事實行為亦可納入；不再考慮程序性權利的校正作用，只要社會評分可能產生不可接受的風險，一律受到禁止。

歐盟的人工智能立法為我國數(shù)字行政和自動化決策提供了兩個方面的啟示：一方面，建議以人工智能系統(tǒng)可能對基本權利造成的侵害及其嚴重程度為標準，層次化地解決數(shù)字技術輔助下行政活動所需的法律授權問題；另一方面，考慮到個人信息保護法中“目的限制原則”在數(shù)字行政中難以應對數(shù)據(jù)聚合問題，我國未來有必要專門規(guī)范該場景下的數(shù)據(jù)再利用行為。

（原文刊載于《華東政法大學學報》2024年第3期）