如何构建数字员工智能安全合规框架？

管理制度方面，构建并持续完善全方位、多层次的安全管理体系。

1.管理有序， 制定数字员工安全合规管理制度

为防范化解人工智能技术及数字员工应用风险，提升科技创新治理水 平，银行机构可从制度流程制定、组织架构建设、人才建设三个方面着 手，形成自上而下、重点明确、责任清晰的安全管理框架和相关组织保 障，有效降低安全风险，为数字员工的持续创新发展提供坚实的制度保 障。

1.1 制度先行，明确安全顶层设计

管理制度方面，构建并持续完善全方位、多层次的安全管理体系。 一是覆盖数字员工全生命周期。围绕需求分析、规划设计、系统建 设、部署设置、监控评价、优化扩张、集成协同、维护升级、闲置报废 等，建立安全评估、安全监测、安全事件应急处置和违法违规处置等安 全责任落实规范、流程。 二是提前制定详细的应急响应预案。针对数字员工可能发生的数据 泄露、恶意攻击等常见安全事件，制定详细的应急处置流程、资源调配 和人员分工，明确应急处置流程、资源调配和人员分工。 三是完善数字员工使用授权机制。严格规范数字员工的账号管理、 权限分配和访问控制，确保其只能在授权范围内执行操作，防止越权行 为，防范内部风险，增强数字员工操作的可追溯性和合规性。

1.2 优化组织，形成安全统筹协同

组织保障方面，建立数字员工协同管理机制。 一是明确科技、人力、业务等各部门在数字员工安全管理中的职 责，在此基础上形成日常跨部门协作机制，定期召开会议，分享安全最 佳实践，讨论潜在风险并制定应对措施。 二是设立专门的安全部门、安全团队或跨部门的安全管理小组，负 责数字员工的安全策略制定、执行、监控和持续改进。 三是在安全团队的人员构成上应包含高层领导、安全专家和相关部 门负责人，在对内部组织架构、制度设计充分了解的基础上实现安全管 理政策的稳健制定和坚决执行。 四是团队成员应具备算法理论、数据结构、密码学、网络安全等相 关知识背景，对人工智能算法的安全特性、漏洞类型、攻击手段、防御 策略有深刻理解，常态化针对数字员工应用定期组织安全测评、攻防测 试和应急演练等活动，确保数字员工持续提升安全能力。

1.3 人才建设，强化安全意识技能

人员培养方面，持续开展数字员工研发和应用的安全培训。 一是筑牢员工安全意识，定期为科技和业务人员提供有关数字员工 的安全培训，包括安全意识教育、安全操作规程、应急预案等，提高安 全意识和操作技能，通过案例分析、模拟演练等方式协助员工充分了解 潜在的安全风险。 二是帮助员工熟悉安全技术规范，通过安全操作手册、小视频、现 场培训等多种方式提供详细的安全操作细节，使员工掌握应对安全事件 的正确方法，确保具备专业素养和应对能力。

2.全域守护， 构建数字员工安全技术能力体系

数字员工的安全技术能力是保障数字员工安全建设的核心能力，主要 涉及数据安全、模型安全、应用安全以及安全测评等技术维度。其中，数 据安全技术用于满足数据安全监管要求；模型安全技术用于提升数字员工 原生安全合规应用能力；应用安全技术用于识别是否存在各类违规风险、 全面保障服务安全；安全测评技术用于保障数字员工的安全稳定运行。

2.1 数据安全，强化数据管理保护策略

数据是数字员工运行的基石，而在数字员工接收并处理数据过程 中，存在数据泄露、滥用等风险。同时，数字员工的模型构建也依赖于 海量多元数据进行训练。为提升数据安全，需在数据全生命周期的安全 管理采集、访问、传输和存储等环节采取措施保障数据的合规性与安全 性。 一是采洗源头防控，确保数据来源和内容的合规性。在数据引入时 严格审查数据的来源和授权，确保数据来源合法、合规，针对训练数据 通过语料脱敏清洗、自动化安全评估和人工抽检机制，从源头上实现不 良信息治理，剔除毒害信息。

二是管理精确防控，实施数据使用最小化访问权限。在数据管理上对字员工的数据进行分类、归档和设置相应的访问权限。通过遵循数据最 小化原则，实施细粒度的访问控制，如基于角色、属性的访问控制以及动 态授权机制，实现对数据访问的精确管控，确保数字员工只能在合法授权 情况下访问和使用数据，以有效降低数据泄露的风险。 三是存取使用全程可控，确保数据传输和存储的安全性和完整性。数 据存储时，采用强加密标准对存储和传输的数据进行加密，以防止数据泄 露。数据使用时，使用数据掩码、伪匿名化和数据合成等数据脱敏技术来 隐藏敏感信息，确保个人隐私和商业秘密不被泄露。

2.2 模型安全，加强大脑自身价值对齐

模型算法是数字员工技术的核心，决定数字员工行为的可预测性和可 信度。相较传统机器学习算法，生成式人工智能大模型输出具有多样性和 随机性，存在新型的算法和模型风险，如AI模型幻觉、知识侵权等，极大 影响数字员工的安全、公平、可信。因此，从加强算法内生安全入手，引 导数字员工生成积极、正向、合规的内容。 一是开展引入模型评估工作，确保基模安全。通过评估模型备案情况 以及构建通用和金融领域特色安全测试集，确保遴选的基础模型安全、健 康、向上向善，严格遵从国家法律法规。

二是构建金融正向价值观数据，提升模型内在价值安全。综合金融 业、企业价值观要求，通过构建多元化的正向的价值对齐数据基础，使用 大模型对齐技术进行强化学习训练，例如人类反馈的强化学习RLHF （Reinforcement Learning from Human Feedback）、直接偏好优 化DPO（Direct Preference Optimization）等，引导大模型的能力和 行为跟人类的价值、真实意图和伦理原则相一致，增强人类和人工智能协 作过程中的安全和信任。 三是构建数字员工行为可解释能力，提升模型透明性。构建算法层面 的模型可解释能力，综合利用特征重要性局部可解释算法、基于知识图谱 的可解释等方案，为风控、营销等可解释诉求紧迫的场景，强化对数字员 工行为及结果的可解释能力。

2.3 业务安全，实现应用安全合规约束

数字员工在对外提供服务时面临未经授权的访问利用、输入输出可 能存在不合规合法内容、恶意利用造谣诈骗等潜在风险。为保障数字员 工生成内容的安全性，需要从内容审核、机制设计等方面采取措施。 一是强化数字员工权限管理，确保授权内访问操作。智慧银行可参 考现有人力资源体系的权限管理要求，按照使用数字员工从事具体业务 的员工和机构所具备的最小授权限制数字员工在该次任务中所能访问的 业务系统和操作权限，确保数字员工只能完成符合业务流程规范的系统 操作，避免出现一手清等风险隐患。同时对于数字员工完成的业务准确 记录其操作日志及调用数字员工能力的人类员工信息，做好台账管理。

二是建设输入输出内容审核能力，保障数字员工响应内容合规。输 入内容审核方面，通过自动审核用户输入，对提示词攻击、违反价值观 等内容进行拒答处理；对涉及敏感且无法拒答的内容，通过检索红线知 识库进行作答。输出内容审核方面，通过自动审核模块对输出内容的安 全合规进行检验，如存在安全风险，数字员工将基于固定话术生成一段 无公害的描述，从而实现生成内容的安全控制。另外，还应关注数字员 工服务请求拒答率等外界反馈数据指标，及时采取措施，避免对用户体 验产生影响。

三是建立防伪审核机制，阻拦恶意利用。针对对抗样本、深度伪造等 新型攻击手段进行对抗技术研发，对于人脸识别、OCR识别等广泛应用的关键服务，应使用活体检测等安全技术进行加固，提升安全能力，保障 金融应用的可靠可用。随着攻击手段的不断演变，安全防火墙机制也应持 续更新和优化，定期评估现有防护措施的有效性，并根据实际情况进行调 整和改进。

2.4 以评促建，多维多轮衡量安全水平

安全测评是确保数字员工长期安全稳定运行的关键。通过建设系统 化、标准化、常态化的安全攻防演练能力和安全测评整改能力，可全面 体系了解数字员工的安全状况，及时发现和修复潜在的安全隐患，为持 续针对性改进优化提供依据。 一是建立自评体系，满足动态高频高效评测需求。通过构建多样化 测评数据集和评测工具，支撑多维度全面评估。数据方面收集和整理相 关业务领域数字员工的各类型数据，形成完整的数字员工安全测评数据 集，既包含涉黄、涉暴、涉政、涉密、知识产权、伦理价值观等多源全 面的通用模型安全评估测试集，亦包括银行领域特色的常见违规问答和 操作内容，为安全测评提供坚实数据基础。使用自动化测评工具衍生出 反向诱导、提示词注入、越狱攻击不同攻击样本，提升数据全面性，并 支持多维度指标评分自动计算，简化评测过程，提升评测效率，直观呈 现安全状态，形成上线准入评估结果和短板提升建议分析。

二是建立数字员工安全攻防体系，开展红蓝演练。根据收集的漏洞 清单，开展进行排查分析，开展基于黑客视角开展模拟攻击检测，挖掘 算法模型安全漏洞，识别潜在算法安全风险，通过开展常态化的攻防对 抗，发现应用系统、算法模型及基础架构中存在的安全隐患或者薄弱环 节，促进算法安全能力螺旋式提升。 三是积极参与业界权威安全测评，获得客观评价。通过参与权威的 安全测评，了解业界的安全标准和最佳实践，带来新的测评视角，获得 独立客观的评价，发现数字员工的安全差距和不足，也能获得专业的意 见和建议，有助于发现内部评估可能忽视的问题，进一步指导改进和优 化数字员工的安全措施。

3.安全运营， 建立数字员工“早发现、早处置” 风险防控体系

数字员工的安全建设需要久久为功，在日常运营中持续优化和完善。 建立健全的风险防控体系，实现对安全威胁的早期发现和快速处置，化被 动应对为主动治理，形成高效、可靠的问题处置闭环机制，最大限度降低 安全风险，确保数字员工的稳定运行和持续发展。

3.1 早发现，建立实时监测防线

为实现对数字员工运营过程中潜在风险的早期识别，在已有自动化网 络安全、数据安全等监测基础上，通过客户反馈、业务人员监看、科技指 标报警以及跟踪外部舆情政策监控等能力，建立全面的数字员工应用监控 能力，形成可量化的安全态势感知，从而为治理和优化提供数据支撑。 一是建立全面的安全态势感知平台，在强化业务应用中大模型内容安 全监测能力。业务系统监测运营方面，打造人机协作审核模式，对于机器 审核的结果，由业务人员及时进行漏判、误判和纠错判断，对于机器策略 不当情况，由业务人员及时开展回访和应急。科技监测运维方面，在数字 员工服务运行期间，利用设定的关键性能指标和阈值，持续监测问题拒答 率、违规内容生成率等，当问题拒答率和违规率超阈值时，立即触发报警 机制，并通过短信、邮件等方式通知相关人员介入。

二是跟踪外部舆情政策，主动搜寻潜在的威胁。密切关注与数字员工 相关的政策变化、技术突破、安全资讯等外部信息，为数字员工的合规性 建设提供情报支持和研判分析，并基于分析结果形成应对预案，确保数字 员工能够及时适应新的法规要求和适应外部技术发展情况。 三是建立使用反馈机制，及时响应客户需求。建立多渠道的客户反馈 机制，通过点赞点踩、在线客服、问卷调查、电话访谈等方式，收集客户 的反馈信息，及时了解数字员工在实际应用中出现的问题和风险，提升用 户体验。

3.2 早处置，形成闭环管理机制

对于潜在安全风险，快速而精准的处置能力是确保数字员工安全的 关键第二步，在事中以高效高质响应将安全事件的影响降到最低，从而 保障生产安全和客户体验，在事后基于运营数据，持续优化安全策略， 实现抗风险能力持续迭代提升。 一是快速定位问题原因，识别薄弱环节。通过部署全面的监控系 统，实时收集和分析数字员工的运行数据、日志数据，综合利用日志检 索、机器学习、数据挖掘等技术，建立异常检测模型，增强安全威胁的 自动识别和定位，并追溯问题发生的源头，为快速处置提供有力支持。

二是制定执行处置方案，转化改进措施。根据客户、业务、外部的 多渠道安全事件，设定对应应急处理策略方案和长期模型优化措施，优 先保障客户诉求满足，降低风险和损失，再针对问题的根本原因，制定 长期的改进计划，防止类似问题的再次发生。 三是效果跟踪反馈，确保闭环有效。在处置完成后，对实施效果进 行跟踪和评估，并收集用户对处置效果的反馈意见，及时调整和优化处 置方案，确保处置措施达到预期效果。通过闭环管理，使数字员工在面 对不断演变的安全威胁时，始终持续演进，保持高度的抗风险能力。