2024年科技公司的端侧AI布局分析

1 苹果AI布局

苹果AI：模型侧：MM1

3月苹果正式公布自家的多模态大模型MM1，MM1是一个具有最高300亿参数的多模态LLM系列。MM1由密集模型和混合专家（ MoE）变体组成，具有300亿、70亿、30亿参数等多个版本。MM1不仅在预训练指标中实现最优性能SOTA，在一系列已有多模态 基准上监督微调后也能保持有竞争力的性能。 得益于大规模多模态预训练，MM1模型在上下文预测、多图像和思维链推理等方面表现不错。MM1模型在指令调优后展现出强大 的少样本学习能力。在几乎所有基准测试中，苹果的MoE模型比密集模型取得更好的性能，显示MoE进一步扩展的巨大潜力。

苹果AI：模型侧：OpenELM

4月26日，苹果宣布了更大的端侧AI推进，推出全新的开源大语言模型OpenELM。OpenELM包含2.7亿、4.5亿、11亿和30亿个 参数的四种版本，定位于超小规模模型，运行成本更低，可在手机和笔记本电脑等设备上运行文本生成任务。同时，公司开源了 OpenELM模型权重和推理代码、数据集、训练日志、神经网络库CoreNet。 OpenELM使用了“分层缩放”策略，来有效分配Transformer模型每一层参数，从而提升准确率。在约10亿参数规模下， OpenELM与OLMo相比，准确率提高了2.36%，同时需要的预训练token数量减少了50%。 OpenELM的基准测试（数据类型BFloat16）在工作站（配备英特尔i9-13900KF CPU、RTX 4090 GPU，24GB DDR5内存），以 及M2 Max MacBook Pro（64GB内存）运行。

苹果AI：模型侧：Ferret-UI

4月8日，苹果展示了多模态模型Ferret-UI。Ferret-UI 系统可以理解手机屏幕上的应用程序内容，专为增强 对移动端UI屏幕的理解而定制，其配备了引用（ referring ） 、 定 位 （ grounding ） 和 推 理 （ reasoning）功能。Ferret-UI具备了解决现有大部分 通用多模态大模型所缺乏的理解用户界面（UI）屏幕 并与其有效交互的能力。Ferret-UI与OpenAI近期发 布的GPT-4o、谷歌近期发布的Gemini 1.5 Pro在功能 上异曲同工。

Ferret-UI可执行从基本到复杂任务等11种任务。它能 在移动UI屏幕上使用灵活的输入格式（点、框、涂鸦 ）执行指代任务（例如控件分类、图标识别、OCR） 和定位任务（例如查找控件、查找图标、查找文本、 控件列表）。这些基本任务为模型提供了丰富的视觉 和空间知识，使其能在粗略和精细级别（例如各种图 标或文本元素之间）区分UI类型。这些基础知识对于 执行更高级的任务至关重要。具体来说，Ferret-UI不 仅能在详细描述和感知对话中讨论视觉元素，还可在 交互对话中提出面向目标的动作，并通过功能推理推 断出屏幕的整体功能。

苹果AI：硬件侧：手机AP后劲不容小觑

苹果是较早介入AI计算单元的厂商，早在2017年就在SoC中引入了NPU计算单元，并搭载于iPhone 8、iPhone 8 Plus及iPhone X 上。苹果A17芯片虽然算力为35TOPS，仅相当于高通骁龙8Gen2的AI性能（8Gen2可在手机侧运行10+亿参数的AI小模型），但手 机上运行AI模型的效果还需看CPU/GPU/NPU的综合能力，软件生态上的适配优化也是提升用户体验的重要操作。 随着AI布局的深入，苹果将充分发挥在架构设计、iOS生态和软件优化方面的优势，其后劲不容小觑。

硬件侧：M系列芯片：统一内存架构+能效比优势在端侧AI时代极具想象空间

苹果自2020年11月开始推出针对Mac和iPad的M系列芯片，M系列芯片至今迭代了4代。 苹果M系列芯片采用统一内存架构设计，允许CPU、GPU及其他协处理器共享和访问相同的内存池，使得并行计算更快速高效。M4 芯片支持120GB/s的系统内存带宽，M3芯片最高支持128GB内存，M2 Ultra配置高达192GB的统一内存和800GB/s的系统内存带 宽，相当于支持了近似容量的显存，甚至可能容纳下LLaMA-65B模型（650 亿参数，显存需求是130GB左右）。在苹果统一内存架 构下，CPU、GPU和内存直接通过硅中介层连在一起，数据传输带宽极高。M3/M4系列芯片采用ARM架构设计，台积电3nm工艺 制造，在能效比方面优势显著。苹果统一内存架构+ARM架构的能效比优势在端侧AI时代极具想象空间。

苹果AI终端未来的杀手锏：AI Vision Pro打造全新生态

XR设备可承载海量的信息流和深度的内容数据，其独特的优势使它能成为个人空间的延伸。计算机视觉、自然语言交互、深度学习 等先进AI技术能使XR设备提供逼真的沉浸感、交互性和无缝的MR体验。内容方面，XR产业通过GPT等生成式AI的编码能力和虚拟 世界中模型/环境/角色的自创能力，帮助企业持续提升生产力。AI与XR的融合或创造全新的生态，推动数字体验的发展，并将其扩 展到制造业、虚拟生产、电子商务、教育等行业。 苹果的Vision Pro开启了空间计算时代，带来了全新的3D交互方式。生成式AI赋能空间计算将大幅推动产业的技术革新并提升用户 体验。AI构建的底层框架，与空间计算的结合，有望创造出更宏伟的元宇宙上层建筑。

2 高通AI布局

高通对端侧AI的挑战的看法

AI工作负载的挑战在于：计算密集度高，复杂的并发，实时运行，长期在线等。 而终端环境受以下限制：对于终端轻薄设计，必须考虑热效率；长时间使用需要较长的电池寿命；存储/内存带宽的限制。

模型侧：高通AI模型量化策略

对于任何给定的经过训练的神经网络：将权重存储在低位（INT8），以低位进行计算 。 量化类比：使用较少的位表示图像中的每个像素，在保持模型所需精度的同时降低比特精度。

模型侧：高通AIMET: 革新的AI模型优化工具

高通推出了针对端侧AI的优化工具库AIMET（AI Model Efficiency Toolkit）。AIMET是开源项目，旨在提供先进的深度学习模型优化技术。AIMET工具 集提供了多种工具，以提高模型性能，降低计算资源需求，从而加速AI模型的部署。 模型压缩与量化：AIMET提供了一套完整的量化解决方案，支持对模型进行INT8或更低精度量化，同时保持高精度。它采用了动态量化策略，可以在 训练过程中调整权重的表示范围，保证模型在量化后的性能。 知识蒸馏：知识蒸馏是将大型复杂模型（教师模型）的知识转移到小型模型（学生模型）的过程。AIMET实现了高效的蒸馏算法，使得小模型能在保 持高性能的同时减少内存占用和推理时间。 剪枝与结构优化：通过网络结构分析，AIMET可以识别并删除对模型性能影响较小的连接，实现网络的稀疏化和结构优化，进一步减小模型大小。 元训练与迁移学习：该项目提供了元训练算法，允许模型快速适应新任务，减少了对大量新数据的需求。这对于边缘设备上的应用尤其重要，因为它 们通常受限于存储和计算资源。 AIMET支持多硬件平台和深度学习框架，如TensorFlow、PyTorch等。清晰的API设计使它能无缝地融入现有开发流程，更易于集成。用户可以根据自己 的需求选择不同的优化策略或实现自定义优化器，实现高度定制化。随着社区的发展和研究的进步，AIMET持续更新，不断引入新的技术和特性。AIMET能帮助开发者在终端侧创建更小巧、高效的模型，也能减少云端的计算资源消耗，降低成本。

硬件侧：生成式AI对异构计算的要求

端侧生成式AI模型日益复杂，参数规模从十亿级别到百亿级别，且多模态趋势日益增强，这意味着模型能接受多种输入形式，并生成多种输出 结果。此外，许多用例需同时运行多个模型。生成式AI工作负载的复杂性、并发性和多样性要利用SoC中所有处理器的能力。最佳的解决方案 ：1）跨处理器和处理器内核扩展生成式AI处理；2）将生成式AI模型和用例映射至一个或多个处理器及内核 ； 大多数生成式AI用例可分为按需型、持续型或泛在型用例。按需型应用的关键性能指标是时延，这些应用使用小模型时，通常选择CPU。当模 型变大(比如数十亿参数)时，GPU和NPU更合适。电池续航和能效对于持续和泛在型用例至关重要，NPU是最佳选择。 另一个关键区别在于AI模型为内存限制型(即性能表现受限于内存带宽)，还是计算限制型(性能表现受限于处理器性能)。当前的LLM在生成文 本时受内存限制，因此需要关注CPU、GPU或NPU的内存效率。对于可能受计算或内存限制的大视觉模型，可使用GPU或NPU，但NPU可提 供更好的能效, 提供自然语音用户界面(UI)以提高生产力并增强用户体验的个人助手预计将成为一类流行的生成式AI应用。语音识别、大语言模型和语音模型 必将以某种并行方式运行，理想的情况是在NPU、GPU、CPU和传感处理器之间分布处理模型。

3 三星AI布局

三星对端侧AI的挑战的看法

相比云端 AI 丰富的资源，端侧 AI 需要在有限的资源上运行，这对模型提出新的要求。 三星认为，端侧 AI 的主要资源瓶颈在于：算力，存储，电力3大领域。 本地算力芯片在性能上与云端GPU有较大差异，要综合考虑性能、功耗、成本、便携性等因素。 本地运行AI模型对缓存和硬盘提出更高的要求，主要集中在容量、规格等性能指标。  Scaling Law驱动 AI 模型向更强、更快发展，推理需求也在逐渐增多，云端和终端设备的供电或成为未来发展的制约因素。

FleXOR：可训练的分数量化

FleXOR是一个灵活的加密算法/架构，它能使用小于1位的分数来表示每个权重。 FleXOR基于异或的量化位加密增强了模型压缩比，异或感知训练算法学习加密权重，通过小于1位的量化实现较高的模型准确性。 FleXOR允许减少内存占用和带宽，这对于节能的推理设计至关重要。

nnTrainer：面向端侧的轻量化个性化深度学习框架

nnTrainer是在嵌入式设备上训练神经网络的软件框架。 当用户使用AI应用时，nnTrainer将确保用户会获得更快（例如响应时间从100ms缩短到50ms）、更准确（比如精确度从88%提升 到95%）、个性化的反馈体验。nnTrainer同时还提供隐私保护，将个人数据保留在用户设备上。对nnTrainer的挑战在于训练数据 量小，算力和内存的资源有限。 nnTrainer提供内存使用和训练时间的优化，迁移学习和元学习，TFLite/PyTorch模型级别的兼容性，易于实现自定义操作符。 nnTrainer支持主流的Android、Tizen和Linux操作系统。相比于PyTorch和TensorFlow，nnTrainer最高可节省63.7%和69%的内 存占用。

报告节选：

编辑：火腿肠