腾讯混元开源 Hy-SimulMT：中英同传延迟约 3 秒，支持实时音色克隆

• 核心发布：腾讯混元开源同声传译大模型 Hy-SimulMT（权重为 Hy-SimulMT-30B-A3B），支持中英文双向语音到语音实时翻译——音频流式输入，模型边听边译，同步输出译文文本与语音，并支持多说话人场景下的实时音色克隆，还原说话人声音与语气。
• 公开基准表现：在长音频开源评测集 RealSI 上，以 StreamLAAL（译文相对输入音频的延迟秒数）为横轴、GPT6.1-Sol 打分为纵轴，官方称 Hy-SimulMT 在延迟最低的情况下取得开源模型最佳翻译质量，并超过大多数商用同传 API；短音频测试集上表现一致。
• 与人类译员对照：团队收集软件与 AI、医学、制造与能源、自然科学、农业与食品、商务管理、法律、教育、文化与文旅、体育与生活十个领域的中英文公开音频，邀请 6 位人类同传专家（3 位 CATTI 一级、3 位 CATTI 二级）同场评测；在该测试数据与设置下，模型翻译质量达到专家水平，延迟更低。人类专业译员平均响应为 4–5 秒。
• 部署方式：模型可通过 vLLM 加载，官方 SimulInfer 提供网页界面、音频文件上传与实时 WebSocket 接口；默认模型服务端口 8800，网页与 API 端口 8080，双卡部署可追加 --gpus 0,1 --tensor-parallel-size 2。远程使用麦克风需 HTTPS，语音输出与音色克隆需另行配置 TTS 服务。
• 行业意义：同声传译此前主要依赖商用 API 或自建流式 pipeline，开源权重加完整推理栈把这条链路变成可本地部署、可二次开发的方案；3 秒级延迟进入人类译员的响应区间，使会议、访谈、演讲等实时跨语言场景具备了自托管选项。与此同时，实时音色克隆意味着声音身份可以被即时复制，部署方在录音授权、内容标注与滥用防范上需要自行设定边界。
• 边界：上述延迟与质量数据来自腾讯混元自测口径，覆盖中英双向；其他语向、强噪声环境、专业术语密集场景下的表现尚未披露。

🔗 ModelScope 模型合集 | GitHub 代码仓库