互联网行业专题报告：逐浪大模型，互联网巨头的AI野望.pdf

上传者：一树梨花
时间：2023/06/01
浏览次数：843
下载次数：75
0人点赞
举报

互联网行业专题报告：逐浪大模型，互联网巨头的AI野望。大模型发展全面加速，通过“预训练+精调”模式进行落地。语言建模经过统计语言模型、神经语言模型、预训练语言模型，已经全面迈入百亿、千亿参数规模的大语言模型阶段。大语言模型具备优秀的上下文学习能力、上下文学习能力、可观的知识容量、优秀的泛化性和复杂推理能力。大模型研究存在 Google 的 Bert 模式、OpenAI 的 GPT 模式和国内的混合模式三条技术线，以 ChatGPT 为主导 GPT 模式目前已经占据主流。目前，国内已有至少 19 家企业及科研院所参与人工智能大模型训练，主要分为大型科技公司、科研院所和初创科技团队三类。国际对比来看，目前美国领跑，中国跟跑，但差距不断缩小。在实践中，预训练大模型在基于海量数据的自监督学习阶段完成了“通识”教育，再借助“预训练+精调”等模式，在共享参数的情况下，根据具体应用场景的特性，用少量数据进行相应微调，即可高水平完成任务。

互联网大厂在“模型、算力、平台和应用”进行四位一体布局。阿里“通义大模型+飞天智算平台+魔塔社区+行业应用”：在模型层，阿里达摩院主导大模型研究，发布通义大模型，包括通义 M6 多模态模型、通义 AliceMind 自然语言处理模型、通义视觉计算机视觉模型。在算力层，阿里云推出全栈智能计算解决方案“飞天智算平台”，并启动两座超大规模智算中心。此外，阿里不仅拥有最多的英伟达 A100 芯片，还拥有自研芯片含光 800、倚天 710 芯片，共同为人工智能大模型提供算力。在平台层，阿里推出 AI 开源社区“魔搭”，旨在打造下一代“模型即服务”的共享平台，整合业界多方模型提供者，为开发者提供预训练基础模型和 API 接口。在应用层，阿里已宣布旗下所有产品未来将全面改造并接入通义大模型，包括天猫、钉钉、高德地图、淘宝、优酷、盒马等。

百度“文心大模型+昆仑芯+飞桨平台+行业应用”：在模型层，百度文心大模型构建了“基础+任务+行业” 三级模型；在算力层，算力基础设施均由百度智算中心支持，昆仑芯二代已广泛应用在文心大模型，预计昆仑芯三代将于 2024 年初量产；在平台层，百度飞桨 PaddlePaddle 是其自主研发的深度学习平台，文心大模型通过百度飞桨平台，实现模型训练、推理部署和场景应用；在应用层，文心大模型将应用在电力、燃气、金融、生物医药、航天、传媒、城市、影视、制造、社科等多个行业。

腾讯“混元大模型+HCC 算力集群+太极机器学习平台+行业应用”：在模型层，2022 年 4 月，腾讯对外披露了混元大模型，涉及自然语言处理、计算机视觉、多模态等多个领域。腾讯自研的太极机器学习平台为混元大模型提供算力，可支持 10TB 级模型训练、TB 级模型推理计算能力等。2023 年 3 月，腾讯对标 ChatGPT 已成立“混元助手”战略级项目组；在算力层，2023 年 4 月 14 日，腾讯云发布新一代 HCC 高性能计算集群，其采用最新一代星星海自研服务器，搭载 NVIDIA H800 Tensor Core GPU，并基于自研网络、存储架构，带来 3.2T 超高互联带宽 TB 级吞吐能力和千万级 IOPS；在平台层，腾讯自研搭建了业界一流的太极机器学习平台，致力于让用户更加聚焦业务 AI 问题解决和应用，一站式的解决算法工程师在 AI 应用过程中特征处理，模型训练，模型服务等工程问题；在应用层，混元大模型已成功应用于腾讯广告，将全面接入微信端、QQ 端和王者荣耀、英雄联盟游戏端，提供智能聊天、内容推荐、情感分析、故事生成、角色塑造等功能，以及腾讯混元大模型有望将在游戏、社交、金融、教育、医疗等领域发展生态。