新快报讯 在日前的世界人工智能大会上,B站公布了其为服务海外用户而全新自研的“AI原声翻译功能”,以便海外用户更好体验游戏、科技、二次元等主推内容。在完成了APP合并、海外用户页面多语种适配、特别是视频原声翻译功能上线后,B站准备好开拓海外市场。
据介绍,本次发布的“AI原声翻译”功能--除了自动擦除中文字幕改为英文、弹幕翻译及各类按钮英文适配等基础的文本互译之外,还能完美还原UP主的声线、音色、气口,而非传统的机器音翻译,同时还能基于翻译语言进行口型模拟。这意味着在未来中文用户观看外语UP主视频或海外用户观看中文UP主视频时能无差别体验原汁原味的“本地化”翻译视频。后续,B站还将视需求把日语等语言加入“AI原声翻译”功能中,持续扩展在海外市场的适配能力。
此外,目前B站“AI原声翻译功能”中,跨语言声音还原技术源自内部代号为“IndexTTS2”的语音生成模型 ,该模型引入了一种新颖、通用且兼容自回归架构的语音时长及情感控制方法。该方法支持指定token数量,从而实现对语音时长的精确调控,降低了翻译任务的难度。另外对情感表达与说话人身份进行了有效解耦,实现了高质量地复刻原片语音中蕴含的情感。