共计 1409 个字符，预计需要花费 4 分钟才能阅读完成。
定量对比：研究人员分别在中英、英中翻译语向上，针对 4 个不同领域邀请专业的同传译员进行了人工评测，使用了与人工同传一致的评价指标：有效信息占比（百分制）。图中可以看到，CLASI 系统大幅领先所有商业系统和开源 SOTA 系统，并且在某些测试集上甚至达到或超过了人类同传水平（一般认为人类同传平均水平大概在 80%）。
系统架构
系统架构上，CLASI 采用了基于 LLM 智能体的架构（下图左），将同声传译定义为一系列简单且协调的操作，包括读入音频流，检索（可选），读取记忆体，更新记忆体，输出等。整个流程由大语言模型自主控制，从而在实时性和翻译质量之间达到了高效的平衡。该系统能够根据实际需求灵活调整各个环节的处理策略，确保在高效传递信息的同时，保持翻译内容的准确性和连贯性。CLASI 底层模型是一个 Encoder-conditioned LLM，在海量的无监督和有监督数据上进行了预训练。CLASI 模型的系统架构如下图所示。
图 1：图示展示了 CLASI 的整体操作流程。在步骤 1 中，CLASI 处理当前输入的音频数据。接下来检索器会被激活（可选），从用户自定义的知识库中获取相关信息。在这个示例中，使用知识库中的翻译对 “伊辛模型: Ising model” 能够帮助模型输出正确的译文。在步骤 3 中，CLASI 从上一轮的记忆体中加载转写（可选）和翻译。接下来（步骤 4 和步骤 5），CLASI 可能会启用思维链（CoT）来输出转写（可选）和翻译结果，然后更新其记忆体。最后，返回步骤 1 以处理下一轮的语音。
图 2：CLASI 的结构图。在第 r 轮中，CLASI 将当前音频流、前序的记忆体（r-1）和检索到的知识（如果有）作为输入。CLASI 根据给定的指令输出响应，然后更新记忆体。同时，CLASI 还会输出截止当前，最后一个语义片段的截止时间戳。对于给定的示例，短语 “就在” 之前的内容被认为是完整的语义片段，所以截止时间戳就在此短语之前。
实验结果
表 1：人工评测有效字段占比（Valid Information Proportion, VIP）中，CLASI 系统显著超过了其他所有竞品，并且在两个语向上均达到了 78% 以上的准确性。一般而言，可以认为人类同传的准确性在 70% 以上，理想情况下可以达到 95%，研究人员以 80% 的准确性作为高水平人类译员的平均标准。
示例分析
中翻英：
英翻中：
可以看到在多个方面，CLASI 的翻译均显著优于商用系统。
总结
来自字节跳动 ByteDance Research 团队的研究人员提出了基于豆包大模型的同传智能体：CLASI。得益于大规模预训练和模仿学习，在人工评估中，CLASI 的表现显著优于现有的自动同声传译系统的性能，几乎达到人类同传水平。
1. 研究人员提出了一种通过模仿专业人类译员的、数据驱动的读写策略。该策略无需复杂的人类预设计，即可轻松平衡翻译质量和延迟。与大多数商业系统在翻译过程中频繁重写输出以提高质量不同，该策略保证所有输出在保持高质量的同时是确定性的。
2. 人类译员一般需要预先准备同传内容，受此启发，研究人员引入了一种多模态检索增强生成（MM-RAG）过程，使 LLM 实时地具有领域特定的知识。所提出的模块在推理过程中以最小的计算开销进一步提高了翻译质量。
3. 研究人员与专业人类同传译员密切合作，制定了新的人工评估策略 “有效信息占比”(VIP)，并公开了详细的指南。同时也发布了一个更接近现实场景的长语音翻译的多领域人工标注测试集。
