2024年大语言模型翻译质量评测分析：汉语核心评测体系填补国际空白，国产模型Qwen-Plus表现亮眼

本报告将深入分析大语言模型翻译技术的发展现状、评测体系的创新价值、各主流模型的表现差异以及未来发展趋势。报告基于严谨的评测数据，覆盖当代文学、党政文献和外事新闻三大领域，涉及汉译英、日、俄、法、阿五个语种，对ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问六大模型进行了全面评估。研究发现，当前大语言模型已具备接近人类译者的语义理解能力，但在语言特征维度仍存在明显短板；国产模型Qwen-Plus在多个语种中表现优异，展现出中国AI技术的快速进步；同时，汉语作为源语言的翻译质量仍有提升空间，特别是在文化负载词和专业术语处理方面。

一、大语言模型翻译技术：从英语核心到汉语主导的范式转变

机器翻译技术的发展经历了从规则系统到统计方法，再到神经网络和大语言模型的演进过程。传统机器翻译评测体系长期以英语为核心，汉语处于边缘地位，这种不平衡的格局正在被打破。北京第二外国语学院的BISU-AiTQA(v1.0)评测体系开创性地构建了以汉语为源语言的多语种翻译质量评估框架，具有里程碑式的意义。

​​评测体系的创新性​​体现在三个维度：语料维度覆盖当代文学、党政文献与外事新闻三大领域，分别代表表达性、规范性与传播性三种语体特征；语种维度设置英、日、法、俄、阿五种目标语言，实现"大语种+小语种"的组合结构；模型维度涵盖Claude-3-7-sonnet-20250219、Gemini-1.5-pro-latest、GPT-4o、Grok-3、Qwen-Plus、DeepSeek-R1等六个中外主流大语言模型。这种多维度的评测框架能够全面评估模型在不同场景下的翻译能力。

从评测结果看，​​大语言模型翻译技术已取得显著进步​​。在神经网络维度(COMET翻译质量、语义忠实度、语言可接受度)表现稳健：COMET得分普遍在0.80左右，语义忠实度平均达到0.85，显示当前大语言模型已具备较强的语义建模与信息还原能力。这表明在基本传达原文含义方面，模型已达到或接近人类译者水平。特别是在英语和日语翻译任务中，各大模型表现稳定，语义理解与语言表达整体水平较高。

然而，评测也揭示了当前技术的​​局限性​​。在语言特征维度(词汇多样性、句法复杂度、篇章衔接)上，模型间差异较大，呈现出显著的"语义强、语言弱"特征。以阿拉伯语翻译为例，所有模型在语言特征维度表现一般，词汇多样性与参考译文出入较大。在处理复杂句式时，模型往往无法准确解析嵌套结构或长距离依存关系的句子；在专业领域，特别是文化负载较重的文本中，模型常缺乏足够的术语知识与文化理解，导致信息传递出现偏差。

​​汉语翻译表现差距​​尤为值得关注。与英文翻译任务相比，模型在处理汉语翻译时的整体表现仍存在明显差距。在文学领域，涉及佛教词汇等文化负载词翻译时，大语言模型处理相对困难，多采用音译处理方式。以莫言小说中的"阎罗殿"俄语翻译为例，各模型大多选择音译"阎罗"而不加注释，对俄语读者而言难以理解。从可读性角度考虑，使用直接意译如"地狱之主的大殿"或许是更合适的选择，这也是参考译文采用的方案。

二、领域与语种表现差异：党政文献翻译质量最高，阿拉伯语成最大挑战

BISU-AiTQA(v1.0)评测报告首次系统揭示了大语言模型在不同领域和语种间的表现差异，为模型优化和应用场景选择提供了重要参考。评测结果显示，模型表现高度依赖于文本类型和目标语种，呈现出明显的领域特异性和语种不平衡性。

​​党政文献领域​​的翻译质量整体最高。该领域语言规范性强、逻辑结构清晰，对术语还原、句式表达、语体风格都要求极高。Claude-3-Sonnet在英语方向得分最高，Grok-3和Qwen-Plus整体表现比较均衡。在这个领域，日语方向表现优异，多个模型均获得较高得分。这表明大语言模型在处理结构清晰、术语规范的正式文本时具有优势，能够较好地保持原文的信息完整性和语言规范性。

​​当代文学领域​​对模型的挑战最大。该领域强调语言风格、文化表达，对大模型语言生成能力提出更高挑战。Qwen-Plus在日语各维度表现最佳，Claude-3-Sonnet在法语和英语方向的词汇和句法表现较为出色。但是所有的模型在阿语翻译上，都表现一般，尤其是语言特征维度，词汇多样性与参考译文出入较大。文学翻译需要处理丰富的文化内涵和独特的语言风格，这对当前的大语言模型仍是巨大挑战。

​​外事新闻领域​​的表现介于两者之间。外事新闻领域文本表达精确，涉及大量外交术语。所有模型在神经网络维度指标都普遍表现较好，尤其是日语翻译结果稳定。Qwen-Plus和DeepSeek-R1在俄语翻译的两个维度都表现较好。这表明模型在处理信息型文本时表现优于表达型文本，但专业术语的准确翻译仍是需要改进的方向。

从​​语种维度​​分析，评测结果呈现出明显的层级差异：英文和日文：各大模型表现稳定，语义理解与语言表达整体水平较高；法语和俄语：表现处于中等水平，在句法复杂性处理上略有波动；阿拉伯语：整体得分偏低，亟需加强模型在汉-阿方向上的训练和语种支持。

这种语种差异反映了当前大语言模型在多语种支持上的不平衡发展。英语作为资源最丰富的语言，模型表现最为稳定；而阿拉伯语等资源相对较少的语言，模型表现明显较弱。这提示我们需要加强低资源语言的语料建设和模型训练，才能真正实现多语种翻译的均衡发展。

三、模型竞争格局：Claude-3综合领先，国产Qwen-Plus表现亮眼

BISU-AiTQA(v1.0)评测对六款主流大语言模型进行了全面比较，揭示了当前大语言模型翻译能力的竞争格局。评测结果显示，不同模型在不同领域和语种各有所长，尚未出现全面领先的"全能选手"，但国产模型的亮眼表现尤其值得关注。

​​Claude-3-Sonnet​​展现出最强的综合能力。该模型在多个语种与领域中均表现稳定，尤其在党政与外事类文本翻译方面表现突出。在党政文献英语翻译中得分最高，在文学领域的法语和英语翻译中也表现出色。这表明Anthropic在模型设计和训练上取得了显著进展，能够较好地平衡不同领域的翻译需求。

​​GPT-4o、Gemini-1.5-pro-latest、Grok-3​​各有所长，在各个领域中都表现较为稳定。GPT-4o作为OpenAI的最新模型，在多语种翻译中保持了较高水平；Google的Gemini-1.5-pro在文化负载词处理上表现较好，如"阎罗殿"的俄语翻译选择了较为文化准确的"epmoeAmbl"（Ama-是梵语中阎罗王之意）；Grok-3作为新兴模型，在党政文献翻译中表现均衡，显示出Elon Musk旗下xAI的技术实力。

​​国产模型的突破​​是本次评测的重要发现。Qwen-Plus作为国产模型，在多个语种中展现出高水平表现，特别是在当代文学(日语)与外事新闻(俄语)中表现较好，体现出较强的语言生成能力和发展潜力。这一结果表明，中国在大语言模型技术方面已取得长足进步，能够与国际领先模型同台竞技。另一个国产模型DeepSeek-R1在部分语言（例如汉译法和汉译俄）的翻译中会出现简化现象，显示出国产模型仍有改进空间。

从技术角度看，当前大语言模型翻译仍存在一些​​共性问题​​：术语和文化负载词处理不足：个别模型将"入境消费"误译为「訪日消費」，属严重事实性错误；正式文本的细节缺失：部分模型将"坚持用法治思维和方式开展涉外工作"概括为「外交政策推進べ」，此种处理易造成重要措辞缺失；数字和术语翻译失误、标题翻译不当、词语情感色彩把握不准确等问题仍较常见。

这些问题充分表明当前阶段的大语言模型尚难以全面胜任高质量翻译任务，尤其无法替代具有专业判断力的人类译者。模型需要进一步加强对专业术语、文化概念和正式语体的处理能力，才能真正满足专业翻译的需求。

以上就是关于2024年大语言模型翻译质量评测的分析。北京第二外国语学院的BISU-AiTQA(v1.0)评测体系开创性地构建了以汉语为核心的多语种翻译质量评估框架，填补了国际评测领域的空白，为我们理解大语言模型翻译能力的现状和发展方向提供了系统性依据。

评测结果显示，当前大语言模型已具备接近人类译者的语义理解能力，COMET得分普遍在0.80左右，语义忠实度平均达到0.85。Claude-3-Sonnet展现出最强的综合能力，而国产模型Qwen-Plus在多个语种中的亮眼表现，标志着中国AI技术的快速进步。从领域来看，党政文献翻译质量最高，当代文学领域挑战最大；从语种来看，英语和日语翻译最稳定，阿拉伯语成为最大挑战。

然而，技术在不断进步，语言所承载的文化内涵、认知模式与复杂的表达方式，仍需专业研究者与译者的深度参与和持续探索。大语言模型翻译技术的发展，不是要取代人类译者，而是要为跨语言交流提供更强大的工具。未来，我们期待看到更多以非英语语言为核心的评测体系，更均衡的多语种支持，以及更深入的专业领域优化，真正实现技术赋能语言交流的愿景。

汉语全球表达力的提升，不仅需要技术突破，更需要文化理解与专业智慧的深度融合。BISU-AiTQA评测体系的建立，正是这一融合过程中的重要里程碑，为促进中外人文交流开辟了新的路径。随着技术的不断进步和评测体系的持续完善，大语言模型有望成为跨语言沟通的桥梁，推动构建更加开放、包容的全球语言生态。