北京第二外国语学院大语言模型翻译质量评测报告(简版)BISU-AiTOA(v1.0)BISU-ATTQA(v1.0)面向国内外的六个大模型Chat(GPT、Claude、 Gemini、 Grok、 DeepSeek 和通义千问,从当代文学、党政文献和外事新闻三个领域,在汉译英、日、俄、法、阿五个语种开展翻译质量评测研究。突破国际现有评测以英语为核心的现状,构建了以汉语为核心,复盖多语种、多领域的大语言模型群译质量评测体系,具有开创性意义,是促进中外人文交流,提升汉语全球表达力的积极探索。同时,该评测体系亦可广泛应用于翻译教学、语言测试等智能教学场号1.研究背景1.1大语言模型翻译的发展现状大语言模型的发展速度超乎想象,在翻译领域更是取得了前所未有的进展。从ChatGPT到Claude、Gemini,再到国内的诵义千问、DeenSeek等模型，它们在多个语种对的翻译任备
中已达到接近人类译者的水平,极大提升了译文的语言自然度、术语一致性与语篇连贯性等,正在深刻改变翻译行业、教育方式与研究范式。1.2核心挑战与评测需求然而，从翻译学和语言学的角度审视，大语言模型在翻译任备中依然存在诸多挑战:1复杂句式处理能力不足:在处理嵌套结构或长距离依存关系的句子时，模型往往无法准确解其语法层级和语义关系:2、专业领域与文化负载问题:在专业领域,特别是文化负载较重的文本中,模型常缺乏足够的术语知识与文化理解,3汉语翻译表现差距:与英文翻译任务相比,模型在处理汉语翻译时的整体表现仍存在明显差距。这些问题使我们追切需要构建一个系统化、可解释的评测机制,以全面揭示大模型在多语翻译任务中的真实能力和潜在短板。1.3机器翻译评测的发展历程
机器翻译质量评估并非新兴课题。自2006年ACL设立WMT以来,BLEU、METEOR、TER等自动指标被广泛应用十机器翻译系统性能评估。然血。这些传统指标辛要基十词曲审合和形式对齐。难以有效捕捉诠文的深层语义特征,近年来,随着大语言模型的兴起,评测重心逐步从传统统计机器翻译转向类人翻译能力评估,涌现出COMET、BERTScore等和白然度的判断。讲一步推动了翻译评测领域的发展1.4现有评测体系的局限件现有评测休系仍存在二个核心问肠，汉语地位边缘化:汉语在国际评测中仍处于边缘地位,主流评测多围绕英语展开,缺乏以汉语为源语言的评测咨源。文本类型单一化,文本类型讨干集中在通用语料、缺乏垂直领域的专业文术。无法有效评估模型在复杂专业领域中的翻译能力:评测视角局限性:大多数评测仍依赖单一视角，难以从语言本体出发讲行系统性评估,即便引入了MOM等多维框架,也常面临领域适配性弱、语言学解释力不足等问题。2.研究内容
2.1总体设计框架出发,构建了一个系统的翻译评测体系,语料维度:复盖当代文学、党政文献与外事新闻三大领域,分别代表表达性、规范性与传播性三种语体特征:语种维度:设置英、日、法、俄、阿五种目标语言,实现"大语种+小语种"的组合结构;模型维度：涵盖Claude-3-7-sonnet-20250219、Gemini-1.5.pro-latest. GPT40、 Grok-3、 Owen-Plus、 DeenSeek-RI等六个中外主流大语言模型。所右型均通过统一Promnt与控制条件牛成译文，确保评测的公平性与一致性。2.2评测指标体系本项目构建了"双维六项”指标体系2.2.1语言特征维度。词汇多样性:从语言学视角考察译文词汇使用的丰富程度。句法复杂度:评估译文句法结构的复杂程度和表达多样性，篇章衔接度:检验译文在篇章层面的连贯性和衔接性
2.2.2神经网络维度整体翻译质量:使用COMET指标，对翻译质量讲行综合评估语义忠实度:考察译文对原文语义的忠实度评估译文的白然麻和可诗机语言可接受开.语言特征维度从语言学视角出发,关注译文的语言使用特性,可有效识别模型在词法、句法和篇章衔接方面的能力;神经网络维度则借助大模型和神经网络的深层语义建模能力,考祭模型对语义的理解与重构能力。3.评测发现与结论3.1整体麦现分析从熬休结果来看。所有模型在神经网络维度（COMET翻译质量、语义忠实度、语言可接受度）表现稳健:COMET得分普遍在0.80左右,语义忠实度平均达到0.85，显示当前大语言模型已具备较强的语义建模与信息还原能力。这表明在基术传达原文含义方面,模型已达到或接近人类译者水平。然而,在语言特征维度（...
