2025年从技术演进到算力消耗估算，深度拆解AI Agent：AI进入Token时代，MCP赋能Agent迈向泛智能

核心技术跃迁，AI Agent 时代全面到来何为 AI Agent？

何为 AI Agent？

OpenAI 官网定义：AI Agent 是可以智能完成任务的系统——从执行简单的工作流程到追求复杂、开放式的目标。

Anthropic 官网定义：AI Agent 是让 LLM（大语言模型）动态掌控工具使用方式的系统，可自主决定如何完成任务。 一句话形象总结：AI Agent 就是给 AI 大模型安上可操控的“四肢”。初期 AI 大模型只会告诉用户处理问题的方式或解决问题的办法（只有大脑），但实操环节还需人为介入，且需要用户来设计解决问题的路径。发展到AIAgent，其不仅可以提出处理方案，还可以自主编排处理流程，自主调用工具，最终解决问题。有了 Agent，将大大扩展个体或机构的能力边界。

技术快速迭代创新，推动 AI Agent 时代的到来： 1、更加智能的大模型，长上下文记忆，且调用的token 成本持续下降。 2、大模型可调用工具不断丰富。 3、辅助框架进一步完善（RAG 技术、Function calling、LangGraph框架、MCP协议、Agent SDK）。

AI 大模型：对齐-涌现-长时记忆、多模态-推理-AI

大模型不断智能化

2018 年：初代大语言模型 GPT-1（固定长度的输入512 Tokens）推出，还无法根据人类指令灵活响应。

2019 年：GPT-2 推出，较好顺写文本，但在长文本生成时会出现重复、跑题，缺乏整体连贯性，无法很好对齐用户意图。

2020 年：GPT-3 推出，拥有 1750 亿参数，远超GPT-2 的15亿参数，上下文输入输出窗口来到 2048 个 Tokens。由于参数的大幅提升，模型开始出现 Few-Shot 学习等涌现能力，但依旧无法很好对齐用户意图。

2021 年：DALL·E 模型发布，从文本到图像生成显雏形。

2022 上半年： InstructGPT 推出，微调GPT-3，采用监督学习和强化学习（RLHF）方式，在仅有 13 亿参数情况下，更好对齐用户意图。

2022 下半年：ChatGPT 正式推出，至此为分水岭，AI 真正进入了大众视野，其显著增强了对话的连贯性和上下文理解能力。

2023 上半年：Claude 1.0 和 GPT-4 共同推出，GPT-4 推理能力、专业知识进一步提升，并支持图像输入，是多模态AI 的里程碑。

2023 下半年：Claude 2.0、GPT-4 Turbo、LLaMA 2、Gemini 推出，国内阿里推出 Qwen，大模型进入百花齐放阶段。其中Claude2.0将上下文扩展到 100K tokens，支持文件上传处理。2023 年11月上线Claude 2.1，进一步将上下文窗口扩展至200K tokens，模型记忆能力大幅提升。LLaMA 2 将其模型开源，推动整个行业发展。GoogleGemini上线既具备多模态处理能力。

2024 上 半 年 ： GPT-4o 、 Claude 3 、Gemini 1.5 Pro 、Llama3、DeepSeek-V2 等发布，多模态进一步完善，GPT-4o 集成视频和语音功能，Llama 3 是首款能够处理图像和文本的开源模型，Gemini 1.5Pro 支持多模态的同时还将上下文窗口提升至1MTokens。

2024 下 半 年 ~ 至 今 ： OpenAI o1 、Grok 3 、Claude sonnet 3.7、DeepSeek-R1、Alibaba QwQ、Gemini 2.5pro 等发布，标志着模型的推理思考能力大幅提升，OpenAI o1 通过链式思维（chain-of-thoughtreasoning）优化了推理能力，特别在科学和编程任务上表现优异，减少模型幻觉问题，Claude sonnet 3.7 在编程和工具调用能力上非常突出。

Token 调用成本大幅下降

以 GPT-4 系列为例，GPT-4o 每百万 Tokens 调用价格以及相较于GPT-4刚刚推出时下降了 89%，若对比小模型GPT-4o mini，则价格比GPT-4下降了 99.3%。对比国产大模型 DeepSeek，V3 版本目前国内标准时间段（北京时间 08:30-00:30）价格为2 元/百万Tokens，输出为8元/百万 Tokens，较 GPT-4 调用成本更低。

上下文长时记忆

长时记忆对 AI Agent 尤为重要，减少了AI Agent 频繁分段记忆导致的结果偏离。不支持足够长的文本输入，AI Agent 就较难建立起对目标任务完整的认知逻辑。例如 GPT-3 只能支持2048 个tokens的输入，很难完成逻辑链较长的任务，发展到 GPT-4，最大已经可以支持到32KTokens上下文窗口，再到Gemini甚至可以支持到2M的上下文Tokens。此前受制于 Transformer 模型的自注意力机制，计算开销随序列长度指数增长，目前技术上通过更高效的稀疏注意力和分块处理实现上下文窗口的扩展。

可调用工具及协议不断完善（RAG、Function calling、MCP）

大语言模型经历了从预训练回答历史知识，到实施调用工具回答实施问题的阶段，工具调用与协议的完善大幅拓展了大语言模型的能力。

RAG（检索增强生成）技术的成熟：使AI 大模型能够在生成响应之前引用训练数据来源之外的知识库，对模型在专业领域的知识补充、长时记忆、新知识补充等都起到至关重要的作用。提升了大模型输出的信息的及时性和质量、减少幻觉。在大模型本就已经很强的上下文记忆能力基础上，接上了一个随时可以扩展的向量数据库。

OpenAI 推出 Function calling 功能：2023 年6 月，OpenAI 推出Functioncalling 功能，允许开发者在 Chat Completions API 中定义函数，大模型可根据用户输入自动调用相应函数，生成所需的JSON对象输出。结合了 Function calling 后，大模型相当于拥有了可以调用函数的能力，进而获得了与外部交互的能力。

Anthropic 推出 MCP（Model Context Protocol）协议：2024年11月25 日 Anthropic 正式推出开源 MCP 协议，相当于在FunctionCalling之上提供了一套标准协议，把 API 调用流程进一步抽象，让AI Agent可以自动调用多个工具。Anthropic 已经预先预构建了一些MCP服务器，支持连接 Google Drive、Slack、GitHub、Git、Postgres、Puppeteer等企业级系统，也可以由社区编写更多功能的MCP 服务器。MCP简化了AI连接外部数据的难度，一次性构建兼容多个数据源的AI解决方案，提高数据访问效率。有了 MCP，就可以将企业数据与AI 大模型更好的链接起来，让大模型更高效更自主使用外部数据。

其他工具的完善。包括：1、搜索（Google Search API 等），让大模型更加方面从互联网获取信息；2、文件系统（File search），让大模型可以调用本地或者云端文件辅助分析；3、计算机调用（ComputerUse），让大模型具备类人的计算机操作能力；4、函数调用，让大模型可以使用编写的函数完成自定义功能；5、专业API 调用，例如金融系统、天气系统、电商系统等数据信息；6、自动化工具，例如Google邮箱、Discord 平台、Slack 平台等信息的同步与编写。

推理赋予 AI Agent 处理复杂问题的能力

推理与制定计划（Planning）能力是 AI Agent 能够完成复杂目标的核心：将最终目标分解为可执行的具体步骤。大模型推理能力发展脉络：

1、初代大模型只是一问一答，没有推理和计划能力；

2、COT（Chain of Thought，思维链）在2022 年1 月被提出，一种专门用于提升大模型推理能力的提示方法，能够逐步拆解问题；

3、2022 年底，ChatGPT 推出后，Auto-GPT/BabyAGI 等引入了任务列表与思维链形式，可以按照任务规划拆分行动分步执行，大模型初步拥有了解决复杂任务的能力，这是把AI 从工具变成Agent 的分水岭；

4、2024 年 9 月 OpenAI 推出了 o1 模型，强调其在回答问题前会进行“思考”，具备更强解决复杂任务的能力，而Anthropic 在2025年2月发布的 Claude 3.7 Sonnet 是首个采用混合推理的大模型，具备深度思考模式，X 在同月也发布了 Grok3，具备深度思考能力的大模型。

至此大模型进入到了推理时代，模型对目标的规划和不断迭代尝试的能力进一步提升。例如询问 Grok3：“美股中，受益于ai 或者使用ai 或者最容易接入 ai 的标的有哪些，帮我详细梳理一下”，可以看到其进行了 9 个步骤，搜索了 18 个信息来源，期间反复调整解决问题的思路，最终形成结果列表。

LangGraph 框架简化 AI Agent 的开发，引入复杂任务循环概念。LangGraph是由 LangChain 团队开发的一个开源框架，旨在帮助开发者构建具有状态管理能力的多 Agent 或单 Agent AI 应用。LangGraph 引入了循环图（Cyclical Graph）概念，弥补了 LangChain 在处理动态、复杂任务时的局限性。简单而言，就是用户在调用每个 Node（节点）功能前，都会有一个Edge（边）根据 state（当前状态）判断是否需要再进行下一个Node（节点）调用，或者是 END（结束）流程，这样可以使整个处理流程自主循环直到解决问题。

这一类的开发框架的完善，也推动了整个 AI Agent 领域的发展。

Coding（代码）就是大模型的自然语言

虽然当前的 AI Agent 还很难完成较为复杂、逻辑要求缜密、精度与准确度较高的任务，但我们第一章节提及的上下文长时记忆+Tool Use+基础大模型更加智能且推理能力不断增强，这几方面的发展非常迅速，再结合当前例如Anthropic claude sonnet 3.7 或 Gemini 2.5pro 等的强大Coding能力，使得大模型在拥有更强智慧大脑的同时，用机器能听的懂的命令，完成大模型的思考到执行的过程。

随着 AI 大模型代码能力的不断增强，我们认为本质上，代码就是大模型和机器交互的自然语言，在没有大模型和 AI Agent 之前，人类需要通过学习编程，获得与机器交流的能力，让机器懂得如何去按照我们的要求完成工作，因而演化出了各类软件，演化出了 SaaS、PaaS、IaaS 等平台，以及各类的 APP，大大提高了生产效率。

如今，AI Agent 就是架设在人类与机器之间的中间层，即可以理解人类的自然语言，也可以编写机器看的懂的自然语言（代码），这就完成了全人类的效率提升。因为写代码的能力不是人人具备，而且现成的工具也不一定能满足所有人个性化需求，并且工具很多基于部分人的智慧，实际很难集成大量的知识库做出最优决策并结合实时情况更新解决方案和工具，但有了一个拥有极强 Coding 能力的 AI Agent 之后，这一切都将成为可能。

举例说明：由于大模型 Coding 能力的不断增强，基于大模型推出了不少编码工具，包括 Claude Code、Cursor 和 Cline，他们分别专注于终端、代码编辑器和 VS Code 集成。国内字节跳动的Trae 也是一个支持免费AI IDE，通过接入 LLM 技术提升开发代码开发效率。

Claude Code 是 Anthropic 开发的一个命令行AI 编码助手，帮助开发者通过自然语言命令执行代码搜索、编辑、测试和Git 操作。

Cursor 是基于 Visual Studio Code 的AI 增强代码编辑器，提供代码生成、智能建议和任务完成代理模式，它集成了多种AI 模型，适合个人和团队提高生产力，根据 Sacra 估计，Cursor 是ARR从100万美元增长到 1 亿美元有史以来最快的 SaaS 公司，Cursor 订阅的定价分为免费、20 美元/月、40 美元/月。2025 年1 月，Cursor 宣布完成1.05 亿美元的 B 轮融资（Thrive Capital 融资），估值为25亿美元。

Cline 是一个开源的 AI 自主编码代理，集成到VS Code 中，可创建/编辑文件、执行命令、使用浏览器等。

大模型在 Coding 领域的突破，预计会带动LLM 和工具的进一步紧密结合，无限拓展 LLM 能力边界，向实现 AGI 迈进。

AI Agent 实现路径探寻

模型自治 + 外部协同

AI Agent 的发展，总结看来朝两个方向不断推进：

大模型能力内化：可以简称“内脑”，通过监督学习+强化学习（包括对齐人类指令的 RLHF 以及适合自主学习和探索性的SELF-RL）方式，不断增强模型的逻辑能力，目的是提升模型自主推理的能力，甚至部分内嵌功能，例如搜索、规划等功能，我们实际在调用AI 大模型的时候，模型就自主开始搜索互联网信息，无需外接API 工具实现。

外化框架的协同： 1、 规范工具调用：上文提到的 LangGraph 架构，包括Anthropic的MCP 协议，以及 OpenAI 开源的Agent SDK 框架，本质上都是通过预先设定的逻辑关系，使得 AI 大模型在解决目标问题时，遵循一定规则和框架协议，可以更加高效的调用外部工具，实现跨模型跨平台统一调用，提升处理处理问题的能力。2、 多模型协同：不同的 AI 大模型特长不同，可以集各家所长，更好应对用户泛化的需求，使 AI Agent 可以处理更多复杂问题。例如基础大模型负责综合调度，而擅长图片处理、视频分析、数据整理等的微调垂模型可以承接不同环节，多模型共同协作完成目标任务。特别是在特定领域，需要专业知识的情况下，往往通用大模型是无法很好胜任，例如金融、医药等领域，要求模型具备更加专业的能力，这是就可以通过通用模型+专精尖垂模型配合的模式协同完成。

当前各路径存在的问题：

模型能力内化：模型的参数会变得非常庞大，处理速度可能降低，训练+推理算力消耗会更大，并且应对不断变化的环境，模型需要不断进行新的训练，无法做到实时更新，且训练过程中的不可控因素较大。

外化框架协同：存在多工具调用协同时token 消耗大幅增加的问题，且不同工具之间的切换，需要大模型能够有较长记忆及综合处理能力，处理效果或许没有内化到大模型中的效果好。同时多模型之间协同，频繁的模型调用对基础设施要求高，模型间的通信信息传递损失，延迟积累等问题也需要处理。

上述提及的各类问题，很多是短期工程的优化问题，我们预计随着辅助框架的不断完善和 AI 大模型自身能力的提升，将逐步得到解决。且预计两种路径会在不同的需求场景下不断推进，例如：

B 端商业场景：强调数据的安全性，考虑LangGraph 与MCP协议结合的方式，使用开源的大模型+垂模型+外化工具的组合，完成目标任务，这需要企业自有算力部署，且内部 API 开发完善。

C 端需求场景：优先选成熟框架（OpenAI SDK、LangChain）快速实现功能，把更多决定权交由大模型。

小结：外化+内化结合的 AI 大模型，犹如拥有强运动天赋的运动员配备上了专业的设备。举例：当前大模型推出的类Deep Research 功能，就是相当于把搜索、计划等能力内化在 AI 大模型中，同时又支持工具调用，如数据库查阅或者用户上传文件辅助研究，内外集合，大幅提升处理效果。

AI Agent 应用算力消耗假设

一个全球爆款 AI Agent 应用需要多少张 H100 支持？

做一个假设测算，希望能大概估算，一个爆款的AI Agent 应用，需要多少块NVIDIA H100 GPU 算力支持，基于假设的测算思路为：

1、通过 OpenAI 对 Plus 用户月订阅价格倒推用户每日一次交互的token消耗量。

2、以计算出来的每日每次交互的 token 消耗量为基准，假设AI Agent应用的日活以及每日交互次数，计算出其一天算力的消耗量。

3、以 NVIDIA H100 SXM GPU 的 FP8 算力为基准，计算在不同算力利用率情况下的不同日活的 AI Agent 应用对应的GPU 需求数。

详细步骤：

步骤 1：

月订阅价格倒推 token 消耗量：这部分计算的依据的假设为OpenAI 在设定订阅价格时，考虑了每个 Plus 用户每天的 tokens 消耗量，以此为基准，设定了合理的订阅价格。但是由于免费用户也可以无限制使用例如GPT-3.5、GPT-4o mini 以及有限制使用 GPT-4o、OpenAI o3-mini 等，因此考虑Plus用户订阅价格设定时，OpenAI 应需要覆盖免费用户的成本开支，加之还有数据中心、电力、硬件折旧等开支。

因此我们用敏感性分析，假设一定的百分比作为实际Plus 用户开支覆盖其自身 Token 消耗部分。根据 SenserTower 数据显示，截止2025年2月底，ChatGPT APP 每日平均交互次数为 7.03 次，DeepSeek 为4.38次，Claude为 3.28 次。

计算结果显示，最高的每日每次消耗 token 量为29630 个，最低为2222个，以日交互 5 次与 6 次/订阅价格折价 60%这两个中间水平条件对应的2个数值为基准，计算平均消耗量为每日每次交互9777.8 个。

步骤 2：

做第二层的敏感性分析，由于 OpenAI Plus 用户系统默认采用GPT-4o大模型，因此我们以 GPT-4o 的参数作为计算基准，根据微软与华盛顿大学发表的 论 文 《 MEDEC: A Benchmark for Medical Error DetectionandCorrection in Clinical Notes》披露显示 GPT-4o 参数量为2000亿，我们对每次激活的参数量做敏感性分析，对应假设这个超级AI Agent APP每日的打开次数在 3~10 次范围内（基于当前全球超级APP 中交互频次相对低一些的 Youtube 和 AI 大模型应用中较低一些的Claude 作为基准范围），以激活参数+日交互次数为两个计算参数，基于上述的Token 消耗结果平均值，做二层敏感性推导，计算每日的算力总消耗。

计算结果显示，最高的每日消耗算力量为 4.9E+16 FLOPs，最低为7.3E+14FLOPs，若依旧考虑中位线水平，则每日交互6/7 次+50%的参数激活对应的 1.6E+16 FLOPs 的总算力需求。

步骤三：

我们做第三层的敏感性分析，考虑到 NVIDIA H100 SXMGPU在实际推理的时候算力的利用率是有限制的，并不能完全100%的跑满理论算力，因此我们将 GPU 的算力利用率按一定比例做敏感性分析，同时超级AI Agent APP需要有一个日活的门槛线，我们对于日活也做了一定的选择范围，然后以GPU的算力利用率+日活为两个计算参数，最终计算NVIDIA H100SXMGPU卡的需求量。

计算结果显示，取敏感性分析的中位值，对应50%的算力利用率+10亿日活情况下，一个超级 AI Agent APP 运行一天所消耗的算力需要14.15万张NVIDIA H100 SXM GPU 支撑。

总结：以上测算基于 GPT-4o 模型，但 GPT-4o 模型为基础大模型，若考虑推理能力更强的 OpenAI o1 大模型，或者在GPT-4o 基础上使用OpenAI 的Deep Research 功能，那实际的 token 消耗量会更大，且当前GPT-4o已经开放图片模态的输出，算力消耗预计会较文字更大，且未来文字+图片+语音+视频的多模态输入和输出预计将成为标配，那算力的消耗将比仅图文会更大。同时考虑到 AI Agent 本身可能基于多重的思维链推理，调用外部工具，特别在执行复杂的任务时，存在多重的并行调用和循环执行，那Token的消耗量将更加惊人。

因此以上的计算仅在当前环境背景下，做了诸多的假设，作为算力需求的一个概览。

案例分享：Manus 与 Cline + MCP + claude sonnet 3.7

1、Manus：

就此前火爆的定义为通用 Agent 的应用 Manus，公布了其订阅的价格，分为Starter/Pro 两档，分别对应 39 美元/月与199 美元/月，其中Starter用户的权益包括每月3900积分以及并行运行两个任务，Pro用户可以拥有19900积分，并同时运行 5 个任务。同时 manus 也给了相应的案例，复杂度为标准的“NBA 球员得分效率象限图”预计持续时间15 分钟，需要消耗200积分，对应单次任务 2 美元，时间上预估 0.133 美元/分钟，复杂度同样为标准的“优雅 简约 奢华 婚礼邀请网页”设计需求需消耗360 积分，预计持续时间25分钟，对应单次任务 3.6 美元，时间上预估0.144 美元/分钟，而复杂度为复杂的“基于位置的每日天象事件 WEB 应用”则需要消耗900 积分，预估时间80 分钟，对应单次任务 9 美元，时间上 0.113 美元/分钟。

以此看，单次完成任务消耗成本至少在 2 美元以上，换算成调用GPT-4o的API 价格（按输出 10 美元/百万 Token），对应Token 消耗量为20万个，若为复杂的任务，单次任务 9 美元，则对应Token 消耗量为90万个。

2、Cline + MCP + Claude Sonnet 3.7：

上文提到了 MCP 协议，目前已经看到包括Unity、Blender 等软件社区开发了 MCP 服务器提供接入，地图相关 Google Maps 与百度地图、高德地区均有相应的 MCP 服务器，还有网络搜索、文件处理、数据库分析、思维规划等应用均接了 MCP 服务器。

目前在 MCP 集中 Smithery 平台上，已经有3579 个相关服务应用，预计后续会有越来越多的应用接入 MCP，开发 MCP 的服务器，大模型进入应用的场景会越来越多，包括 OpenAI 的 Agent SDK 也扩展支持了MCP协议的调用。可以想见的是，越来越多应用将集成大模型，提升用户使用体验，进而也不断增大了 token 的消耗和算力的需求，试想一下，若每个软件都接入大模型作为基础服务层。

我们做了一个旅行的案例：集成了 Brave 浏览器MCP、GoogleMapsMCP、anthropic 官方 Filesystem MCP，通过 Cline 客户端，接入ClaudeSonnet3.7 大模型，给予 prompt 为：“我想去意大利度假，计划2025年4月1日出发。搜索下意大利有什么著名的地标景点，你从中筛选偏人文历史的景点。按规划的时间，在中午和晚上就餐时间，所在游玩景点旁边推荐一家google评分高的餐馆，价格在 20 欧元一人以内。计划差不多10 天的时间，每个城市当日的天气也需要标注，包括是否下雨或者气温，给我一个行程安排，我从上海出发，给我具体的景点间转换乘坐建议。按照你的规划和交通费用的预计，给出每天的支出预算，最后总结整个旅行的支出总计。最后在shanghaiplan.txt 中写好中文计划，流程用中文展示”，整体步骤分为：

1、调用大模型进行任务规划：claude 将任务逐步拆解，分成了7个需求点。

2、生成了 6 部的处理方案，包括先调用Brave 的MCP进行搜索知名的城市及景点，然后使用 Google Maps MCP 进行交通和餐馆的发掘，从景点附近找出高分餐馆，再使用天气API 搜索当地天气，最后预估旅行费用及输出最终形成规划文档。

整个流程总共向大模型输入了 9K Tokens，同时大模型输出了933.4KTokens，合计整个需求消耗了 942.4K Tokens，cline 统计对应的调用资金消耗为 0.5904 美元。这意味着一个简单的旅行规划，一次请求，就消耗了接近百万的 Tokens，那如果整个流程中加入酒店、餐馆、机票等预订，再加入各个景点的历史人文背景介绍，再添加相应的循环调整机制，加入知识的搜索，例如搜索人的喜好习惯记忆，历史上旅行的偏好，身体的状况能接受怎么样强度的旅行等等，则消耗会更加巨大。

编辑：火腿肠