电子行业LPU专题报告一：架构创新突破大模型推理延迟瓶颈，广阔市场空间有望快速放量.pdf

电子行业LPU专题报告一：架构创新突破大模型推理延迟瓶颈，广阔市场空间有望快速放量。LPU 为新一代面向大模型推理阶段的芯片，核心为 TSP 架构：LPU 是专为顺序处理的计算密集型任务设计的新型芯片架构，核心在于 TSP 架 构，包含五大功能模块，将经典的处理器五级流水线拆散在整个芯片内，进而 消除了硬件的复杂性，使指令执行顺序和时间具有确定性。在 TSP 架构下， 编译器可以直接访问并精确控制芯片的底层硬件状态，实现了软件定义硬件。

LPU 可缩短大模型推理过程中的延迟，提高用户体验感：大模型在推 理过程中会存在延迟，延迟与用户体验感精密挂钩，大模型推理过程中的延 迟主要在 Decode 阶段，核心瓶颈在于内存带宽。LPU 具备更快的内存带 宽，可缩短大模型推理过程中的延迟。同时，基于 LPU 的大模型不仅具有更 快的推理速度，还可以提供更具性价比的价格，可进一步提高用户体验感。

LPU 具备广阔的潜在发展空间，已步入量产初期：目前 Tokens 的消耗 量大幅增长，2024 年初我国日均 Token 的消耗量为 1000 亿，2026 年 2 月 主流大模型合计日均 Token 消耗已到 180 万亿级别，Tokens 消耗量快速增 长，带动推理芯片市场规模的高增长。LPU 可降低大模型推理的延迟，我们 认为 LPU 有望在推理芯片市场中逐步渗透，具有高成长性的市场空间。目前 LPU 已步入量产初期，放量在即。