人工智能算法影响评价模式有哪些？

人工智能算法影响评价的三种模式：环境影响评价、数据保护影响评估、 列表清单。

1. 环境影响评价视角下的算法影响评价

自上个世纪六七十年代在全球各国逐步建立之后，环境影响评价几乎可被视 为影响评价领域最为典型、最具代表意义的制度典范。以 1969 年美国通过《国 家环境政策法》（National Environmental Policy Act，NEPA）为标志，环境影响 评价已被大多数国家所采纳，并被认为在保护、改善环境方面起到了重要作用。 出于不同的治理环境和治理需要，各国形成的环境影响评价制度体系存在一定差 异，但基于跨国制度对比以及制度演化历史的梳理分析，我们仍然可以认为环境 影响评价的制度框架大致需要包含以下三个重要组成部分，而这也可被视为环境 影响评价作为一种影响评价模式的关键特征。

第一，环境影响评价往往建立在环境影响级别分类基础上，并根据不同级别 的环境影响而在程序上对应提出差异化的治理要求。以美国为例，尽管 NEPA 宽 泛地将对人类环境质量具有重大影响的“所有立法建议、主要联邦行动，以及这 些建议或行动的合理的替代方案”都纳入要求进行环境影响评价的适用范畴，但 根据对环境质量影响大小的不同，它们所要满足的评价要求却呈现出较大差异性。 NEPA 在程序上规定了四个判断节点6，每一个节点所对应的评价要求逐次升高，直到最后一个节点才被要求出具完整的环境影响陈述（Environmental Impact Statement, EIS），而 EIS 的内容极为详细、全面并往往包含成百上千页的评估报 告。在具体执行中，事实上只有较小部分的被评价对象会进入第四节点，大部分 都在前三个节点完成，并因此只承担较轻的评价成本和负担。 第二，环境影响评价需要广泛纳入公众参与，并在公开、通知、反馈、修改、 诉讼的迭代过程中充分反映公众意见，以确保环境影响评价的完整性与有效性。 环境影响评价的公众参与固然体现了决策民主性要求，但更为重要的制度设计逻 辑还在于应对环境影响评价本身的不确定性。因为人类行为的环境影响往往需要 很长时间才能表现出来，而导致这种环境影响的因素又往往多元且复杂，公众参 与由此扮演了缓解信息困境的重要功能。前述 NEPA 框架下的四个判断节点都被 要求向公众公开征求意见，评价主体在对意见进行回复后才能进入下一阶段，而 若公众仍然有不同意见则还可以提起诉讼并通过司法机构来判断环境影响评价 结论的适当与否。

第三，环境影响评价要求进行替代方案的对比分析，从而“倒逼”一线主体 在决策过程中考虑环境影响，从而寻找最小化影响的“最优”方案。环境影响评 价的目的在于督促被评价对象改变行为方式以降低对环境的不利影响，但评价者 又难以预知解决方案内容，因此在环境影响评价过程中纳入替代方案比较的要求 才可能实质性推动方案的改进和优化。 需要指出的是，以上三个特征并非同等程度地反映在各国环境影响评价的制 度体系之中，各国根据社会发展阶段、治理需求的差异，而可能在这三项特征上 存在差异。7但无论差异如何，环境影响评价作为一项影响评价制度范式的基本 逻辑是一致的，而这三点特征也自然影响了算法影响评价制度的探索与建构，并 反映在已有研究与政策实践之中。

举例而言，纽约大学智库 AI Now 在 2018 年提出的公共部门算法影响评价 框架即是以环境影响评价为蓝本，要求公共部门在采购或使用算法时应展开影响评价。 8该框架在流程上包括五个环节：采购前评估（Pre-Acquisition Review）、 初步公开(Initial Agency Disclosure Requirement)、评议（Comment Period）、正 当程序诉讼（Due Process Challenge Period）、影响评价方案更新（Renewing AIAs），而它们都明显体现出了环境影响评价制度所包含的公众评议特征。同时， 该框架在评价内容上还提出了五项主要要求：基于影响大小合理界定评价对象范 畴（Establishing Scope and Define Appropriate Boundary Around Automated Decision System）、告知公众现有及提出的算法系统方案（Public Notice of Existing and Proposed Automated Decision System）、内部自评估各个维度的算法影响 （Internal Agency Self-Assessments on Fairness and other Dimensions）、为利 益相关方参与提供实质意义的准入帮助（Meaningful Access），而它们同样体现 了环境影响评价中的影响级别分类、公众参与、替代方案比较这三项关键特征。 在 AI Now 方案的基础上，欧洲议会研究服务中心（European Parliamentary Research Service, EPRS）在 2019 年的研究报告中进一步将算法影响评价方案细 化为 8 个环节，具体包括界定算法系统范畴、初步公开算法系统信息或关于不进 行算法影响评价的决定、自评估、公开系统部署后的信息获取方案、公众参与、 公开算法影响评价报告、更新算法影响评价报告、公众参与阶段的质询与起诉等。 由此也不难看出，EPRS 方案更是全面沿袭了环境影响评估的制度框架与主要内 容。9

尽管环境影响评价作为一种制度创新已经被广泛使用，但这并不代表该项制 度就已经“完美无缺”。事实上，在环境政策领域围绕环境影响评价制度的争议 和质疑始终都存在：环境影响评价报告过于冗长以致于模糊了重点、公众深度参 与会牺牲效率并严重影响项目进程、环境影响评价对私主体决策过程的干涉将侵 害商业秘密等其他权益，都是其中的代表性观点。这些反思也自然会延伸到算法影响评价领域，例如 AI Now 和 EPRS 所提出的算法影响评价框架针对的主要是 公共机构的算法应用，这也是为了规避评价结果公开可能侵害私主体机构商业秘 密权益的争议。但也正因为此，算法影响评价制度体系并不能被等同于环境影响 评价，其他模式的探索同样必不可少。

2.数据保护影响评估视角下的算法影响评价

数据保护影响评估的制度框架基本上来源于欧盟《一般通用数据规定》 （General Data Protection Regulation, GDPR）第 35 款，其要求“可能对自然人 权益与自由造成高风险的（数据处理者）”都需要执行数据保护影响评估（Data Protection Impact Assessment，DPIA）。DPIA 与算法影响评估（AIA）的关联性 在于，无论是欧盟第 29 工作组关于 GDPR 执行指南的说明10，还是欧盟各成员国 在落地 GDPR 时的具体实践11，以及理论界的法理分析12，都普遍对第 35 款做了 宽泛性解释，即认为任何数据驱动技术事实上都会被纳入管辖范围内并因此要求 执行 DPIA，而这便涵盖了所有基于大数据训练的机器学习算法。由此，为避免 法律制度的重复叠加，算法影响评估完全可能被纳入并等同于 DPIA 而并不一定 成为独立的制度性要求。那么接下来的问题便在于，DPIA 的制度特征是什么， 其是否可以满足算法影响评估的制度要求并回应算法治理的诸多挑战？

从流程要求来讲，DPIA 包括审查基本信息以判断是否需要进行数据保护影 响评估、围绕各目标展开影响评估以确定风险、向监管者报告并分析降低风险的 可能措施、在全过程咨询利益相关方、复审以在必要时重启影响评估。13从表面上看，DPIA 流程与环境影响评估流程类似，但其在实质内容上存在两点重大差 异。 一方面，与环境影响评估要求寻找替代方案并进行对比分析不同，GDPR 并 没有对 DPIA 提出类似要求。尽管第 35 款第 7 条指出，数据处理者应“展望” （measures envisaged）能够控制数据权益风险的可能措施，但这并不完全等同 于环境影响评估中的替代方案比较。另一方面，更重要的差异还在于影响评估过 程的公开程度以及公众参与程度方面。尽管 DPIA 仍然建议将评估过程及结果公 开，但正如第 29 工作组关于 GDPR 执行指南的说明中所指出，“公开并非一项 法律责任的要求而取决于数据处理者的决定”，即使 DPIA 显示出可能存在高风 险时并要求数据处理者寻求监管方建议时，关于评估结果是否公开的决定依然取 决于各成员国。14

这一制度逻辑的关键在于，DPIA 是建立在“回应性监管（Responsive Regulation）”15、“协同性监管（Collaborative Regulation）”16等新型监管理论 基础上，其强调监管者与被监管者的合作而非对抗，数据处理者作为被监管方的 利益（例如商业秘密）需要得到承认以激励其寻找数据保护方案的积极性。此意 义上，完全的公开不仅会与数据处理者权益相冲突，也会使数据处理者直接面临 社会公众的监督压力，而 DPIA 放松对公开的要求事实上在公众、监管者、被监 管者（数据处理者）之间构成了一种“委托-代理”关系，即监管者作为公众的 委托者来监督被监管者行为，而考虑到数据保护风险的不确定性，监管者又进一 步与被监管者形成合作关系以共同探索应对风险的积极措施。 将 DPIA 延伸以作为算法影响评估的制度基础，在 GDPR 框架下看似是可能 的，但其有效性却同样受到了诸多质疑。部分研究者认为 DPIA 并不能有效回应工智能算法引起的伦理和社会风险17，而另外一些研究则更细致的指出了 DPIA 与 AIA 的差别，即前者考虑的仍然是“知识交流（Knowledge Communication）” 问题，而后者的治理重点已经演变为“知识生产（Knowledge Production）”问 题，二者的差异使得 DPIA 并不能完全覆盖 AIA 的治理需求。18当然，对于 DPIA 更本质的质疑仍然可从“监管俘获”理论视角得到解释，在缺少充分公开与监督 的环境下，DPIA 试图构建的监管者与被监管者“合作”愿景能否真的实现，始 终是利益相关方担心的重要问题；而相比于 DPIA，AIA 将覆盖更多治理主体、涉 及更多治理目标，在此框架下监管者与被监管者的“合作”究竟是更为容易还是 更为困难实现，同样是值得进一步探究的问题，而非已经形成确定答案的结果。

3. 问题列表清单评估视角下的算法影响评估

开展算法影响评估的第三种模式是采取问题列表清单的方式，而代表性实践 便是加拿大政府在 2019 年 4 月出台施行的“自动决策指令”（Directive on Automated Decision-making），其要求所有被用于行政决策领域的自动决策系 统都需要在采购或使用前，按照问题列表清单进行算法影响评估，而该清单每两 年都将被重新评估并更新。

加拿大“自动决策指令”制度框架的主要内容是以算法影响评估为基础，将 评估结果作为风险分级的判断标准并对不同级别风险匹配以差异化的监管要求。 从指令内容来看，风险分级主要围绕五个维度（具体包括个体或集体权益，个体 平等、尊严、隐私与自主性，个体健康或集体福利，个体、实体或集体的经济利 益，系统的可持续发展）展开，而这五个维度也构成了算法影响评估的分析对象。 按照无影响（little to no impact）、有限影响（moderate impact）、高影响（high impact）、超高影响（very high impact）这四个级别，指令从同行评议（Peer review）、性别等个体特征分析（Gender-based Analysis Plus）、通知（Notice）、人在环 路（Human-in-the-loop for decisions）、可解释（Explanation）、记录与测试 （Documentation and Training）、连续性管理（Continuity Management）、准 入要求（Approval for the system to operate）等八个方面提出了不同程度的治理 要求。例如对于最低级别的“无影响”风险，指令仅在可解释这一点上对自动决 策系统提出监管约束，要求其对共性决策结果（common decision results）提供 有意义的解释；而对于最高级别的“超高影响”风险，则包含前述所有八个方面 的治理要求。 在明确算法影响评估的对象及作用之后，接下来的问题就在于加拿大政府将 如何展开算法影响评估？指令对此采取了列表清单问题的方式作出回应。具体而 言，指令形成了涉及商业流程、所用数据、模型逻辑等多个方面的 60 余个具体 问题，要求被评估主体对这些问题作出回答，然后基于答案来对被评估系统的风 险进行评分，并按照评分将之相应归类到上述 1-4 个风险级别之中。

问题列表共包含风险以及风险预防这两个部分，而针对两个部分问题的答案 也将分别形成风险评分（raw impact score）、风险预防评分（mitigation score）。 该系统的影响评估总得分是按照以下两条原则来计算：如果风险预防评分小于 80%的最高可能得分，那么总得分就等于风险评分；如果风险预防评大于或等于 80%的最高可能得分，那么总得分就等于风险评分的 85%。评分越高，则该系统 的风险评级也将越高。19 风险部分共包含 48 个问题，最高可能得分是 107。在要求对系统作出一般 性描述后，问卷又进一步细分为“影响（impact）”和“数据（data）”两个子 部分。一般性描述主要涉及该项目性质（属于哪个领域、为什么需要自动化决策、 决策对象是否高敏感人群、自动化决策扮演的作用和功能是什么等）、所用算法 性质（是否受到商业秘密的保护、是否可解释等）等问题。在此之后，问卷将进一步对该自动决策系统的影响提出问题，具体问题例如该自动化决策是否存在自 由裁量空间、该决策及其影响是否可矫正、该决策影响的持续时间有多长、该决 策对于个体权益或自由的影响有多大、该决策对于个体健康安全的影响有多大、 该决策对于个体经济利益的影响有多大等等；在数据部分，问卷的具体问题包括 该自动决策系统是否使用个人数据作为输入、谁控制所使用数据、该系统是否会 使用来自不同来源的数据、该决策系统是否会与其他 IT 系统相交互、谁在收集 该系统所使用的输入数据等等。值得注意的是，上述问题绝大部分都是选择题， 即该评估系统已经预设好相关答案，被评估人只需要在答案中选择而不需要自主 回答。

风险预防部分共包含 33 个问题，最高可能得分是 45，并进一步细分为“咨 询（consultation）”和“去风险与预防措施（de-risking and mitigation measures）” 两个子部分，其中绝大部分问题（31 个）都在后一个子部分中。在咨询部分，问 卷问题主要包括该系统设计和应用过程中主要征求意见的内部利益相关方是谁、 主要征集意见的外部利益相关方是谁等。在去风险与预防措施部分，又进一步细 分为数据质量、流程公平、隐私保护这三个子部分，并分别关注各个子部分的相 关措施。举例而言，数据质量部分的具体问题例如是否有测试记录、该记录是否 可公开、是否对数据集进行了性别等敏感属性测试（Gender Based Analysis Plus）、 组织内部是否有相关责任分配等；流程公平部分的具体问题例如该决策算法系统 是否对应法理意义上权力主体、算法审计（audit trail）是否可以确认所有关键决 策点、所有关键决策点是否都可以被关联至相关的法律规定、是否保存有系统调 整的全部过程数据、该系统能否听取使用者反馈、该系统是否允许人为替代等； 隐私保护部分的具体问题例如该系统是否开展了隐私影响评估、该系统在设计初 始阶段是否考虑安全和隐私问题、该系统使用的信息是否闭环、该系统在与其他 系统交互共享个人信息时是否取得了用户同意、该系统是否对数据做了匿名化处 理等。

 不难发现，该列表清单基本上涵盖了当前算法影响评估利益相关方关心的主要问题，而评估结果的公开也进一步促进并提升了自动化决策系统的可解释性、 可被监督性，并因而提升了算法治理水平。但同样值得反思的是，列表清单模式 究竟能否以及在多大程度上可被视为算法影响评估的理想模式？针对此问题的 回答可大致总结为以下两方面。 一方面，算法影响评估的理想模式应更倾向于开放模式而非封闭模式，自上 而下试图框定评估过程的制度逻辑始终都将面临算法治理风险信息不对称以及 不确定性的深刻挑战。在第一章“界定问题”的分析中，本报告已经指出积累治 理过程经验（而非仅仅是解决治理问题）作为算法影响评估核心目标之一的重要 性，而列表清单预先设定好的治理问题及答案都可能淡化这一目标。虽然两年一 度的更新要求仍然可能使列表清单动态演化，但问题结构及答案本身的固定性， 仍然约束了算法系统开发者、应用者作为一线主体的自主性，特别是其寻找可能 解决方案的积极性。特别考虑到算法应用场景的多样性和复杂性，既定问题与答 案究竟能在多大程度上反映现实，仍然是值得反思的深刻问题。2

另一方面，列表清单模式的制度逻辑仍然可能是不完整的，以致于主要体现 了问卷设计者的主观判断而可能导致“南辕北辙”的治理错位问题。列表清单最 终是以评分结果来界定治理风险级别，而这可能是对算法治理这一复杂问题的过 度简化。这种简化又具体体现在两个层面：对于每一个算法治理问题而言，其答 案之间是否可比（每个答案究竟应该被匹配以多少分数）；对于不同不同算法治 理问题而言，其答案是否可比（针对不同问题的答案都被以相同分数加以对比）。 举例而言，上述列表清单问题中包含“该决策系统是使用在哪个行政决策领域？” 这一问题，而答案选项中，“健康相关决策”与“公共服务辅助决策（例如就业 保险、残疾认证）”的得分都是 1 分，但我们是否可以接受这一问卷设计逻辑， 健康决策与公共服务辅助决策是否等同，健康决策内部的所有场景是否都可以被 视为与公共服务辅助决策等同？同时，该部分的另一问题是“该自动化决策的对 象主体是否是敏感群体（vulnerable）？”，而如果选择“是”，那该答案的风险得分是 3 分，由此引发的反思在于：是否敏感群体的风险得分三倍于该决策所应 用的场景领域得分，这一假设是否成立、其又是建立在何种合理性论证基础上， 都是列表清单模式所不能回答的关键问题。