网易有道推出业内首个14语种无口音免文本语音克隆模型

新浪科技
06/23

  新浪科技讯 6月23日下午消息,近日,网易有道发布“子曰4.0”TTS语音合成引擎Confucius4-TTS,是业内首个支持14种语言跨语种无口音、且无需参考文本即可完成语音克隆的开源模型。该模型在跨语种语音克隆、免参考文本建模、情感韵律迁移和本地化部署等关键维度上达到国际最前沿水平,现已面向全球用户全量开源。

  目前,网易有道Confucius4-TTS已全面支持中文、英语、西班牙语等14种语言的自然流利表达。

  同时,网易有道Confucius4-TTS实现了全面突破:第一,用户仅需提供3秒音频素材,模型即可完成音色克隆。克隆音色与原声相似度超过85%,克隆任务准确度高达97%。第二,支持14种语言无缝切换,消除跨语种口音壁垒。第三,实现情感韵律的无损跨语种迁移,Confucius4-TTS能自动提取、解析参考音频中的情感特征。

  据悉,Confucius4-TTS引入了GPT式语义大模型作为主干,搭配基于SSL预训练特征和ECAPA-TDNN的可学习说话人编码器,并采用Flow Matching流匹配生成框架。目前,网易有道已将该模型全量开源。Confucius4-TTS采用Apache开源协议,面向全球开发者开放完整模型权重和配套工具链,商用没有限制。开发者可以下载54G完整资源包,本地离线部署运行。

海量资讯、精准解读,尽在新浪财经APP

责任编辑:宋雅芳

免责声明:投资有风险,本文并非投资建议,以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请,作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考,不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证,投资者应自行研究并在投资前寻求专业建议。

热议股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10