人工智能可信面临怎样的新挑战？

人工智能固有技术风险持续放大，可信 AI 技术成为 AI 领域关 键底层能力。

以深度学习为核心的人工智能技术在应用中暴露出由 其自身特性引发的风险隐患：一是深度学习算法存在的设计漏洞、 恶意攻击等问题引发安全风险，人工智能系统可靠性难以得到足够 信任；二是算法的高度复杂性和不确定性、模型运行的强自主性导 致“黑箱”问题和不可解释；三是数据中已经存在的偏见歧视可能 被算法进一步固化，导致生成的智能决策形成偏见；四是训练数据 的收集、使用、共享可能导致对个人隐私的侵犯和滥用，用户常常 需要在 AI 带来便利与隐私保护之间寻求平衡。以 AI 安全和鲁棒性、 隐私保护、公平性和可解释性为核心的可信 AI 技术在数据安全、算 法安全和系统安全等方面持续发力，成为关键的人工智能底层能力，并正由单点的可信 AI 技术解决方案发展向包含事前评估、事中攻防 和事后治理的人工智能模型全生命周期管理发展。

大模型在技术、产业和社会等多方面引发新问题，可信需求更 加凸显。从技术维度来看，大模型使用深度神经网络结构，其继承 于深度学习的自有技术局限进一步放大，模型不可解释、数据模型 窃取等问题凸显。从产业维度来看，大模型潜在的垄断风险，在赋 能产业的同时可能发生产业链风险传递；大模型本身参数规模大、 性能相对较强，而配套的标准、评估体系的不健全、不规范将威胁 产业安全。从社会维度来看，大模型高效生成信息的能力可能带来 对弱势群体权利的侵害、对劳动力的替代，并可能降低有害信息传 播的门槛，增大社会安全风险。随着 AI 技术向巨量参数大模型和通 用人工智能深入发展，在模型尤其是生成式大模型提供公众服务之 前，相应的可信 AI 技术问题更加复杂，既需要安全意识的长期到位， 也需要技术上的投入和突破。

受益于大模型技术快速迭代及“模型即服务”趋势显现，传统 企业可享受低成本构建应用模型的便利，经济社会进入与人工智能 全面融合发展新阶段，也可能形成新的风险。参考《中国新一代人 工智能科技产业发展（2023）》对人工智能应用领域的判断，我们 - 5 - 分析了大模型时代智慧城市、制造、金融、教育、医疗等领域应用 风险：智慧城市可能因数据过度收集而增加数据监管难度，威胁公 民、企业甚至国家安全；制造场景数据合规性、可信度未知，质量 和安全层面均存有疑问，可能因错误指令导致机器人运行故障；医 疗场景一旦生成错误诊疗方案，严重情况下将有致命风险，且事故 责任主体难以确认；金融场景涉及客户隐私保护和公平性问题，如 对特定人群的信用偏见产生贷款等服务歧视；教育场景涉及误导及 帮助学生利用生成类工具投机取巧的学术伦理问题；新媒体和数字 内容场景下可能存在虚假内容生成、知识产权归属和侵犯等问题。