TTS

原神角色配音集成

2024-06-25 18:15:00

介绍

原神全角色GPT-SoVITS配音模型 是B站大佬“白菜工厂1145号员工”打造分享!这个B站大佬同时还在分享崩坏、蔚蓝等其它游戏角色的配音模型。

模型下载地址:https://www.123pan.com/s/UHp9-kqi8H.html

模型发布者白菜工厂1145号员工B站主页:https://space.bilibili.com/518098961


小米坡软件word文档转视频工具1.17版 已经支持全网所有GPT-SoVITS配音模型的配音对接,大家除了能够使用别人分享的GPT-SoVITS配音模型 ,也能够自己炼制自己感兴趣的模型。


如何搭建GPT-SoVITS配音模型

(1)下载GPT-SoVITS


GPT-SoVITS是一个开源的声音克隆工具,只需要1分钟的原声音模型,就能够克隆出一个和原声音模型很像的配音工具。


windows用户从以下网址下载整合包

https://www.icloud.com.cn/iclouddrive/030K8WjGJ9xMXhpzJVIMEWPzQ#GPT-SoVITS-beta0706fix1

解压后双击 go-webui.bat 即可启动 GPT-SoVITS-WebUI。


linux用户参考以下github信息:

https://github.com/RVC-Boss/GPT-SoVITS/


相关视频

GPT-SoVITS的原作者视频分享:https://www.bilibili.com/video/BV12g4y1m7Uw/


(2)下载声音模型

声音模型有两个文件,一个是以.pth结尾的模型文件,一个是以.ckpt结尾的模型文件,要运行配音功能,还需要给软件

一段3~8秒的音频参考,加音频对应的文本信息。

音频参考主要用于 配音的语气情绪参考。


(3)以API方式运行GPT-SoVITS

上文提到,双击go-webui.bat是启动的webui。因为大家需要自己创建api,软件包目录下有一个api.py可看到使用方法。

大概就是CMD命令:` python api.py -dr "123.wav" -dt "一二三。" -dl "zh" ` ,这一句命令,就能启用一个配音API。

根据软件文档要求与建议,一个api.bat只运行一个角色配音模型即一种配音,也只能运行一个api端口。

根据个人测试情况,一个模型大概小号1G显存,大概要看显存占用情况。

像原神这种40多个角色配音,一般的显卡显存是没办法同时运行的,最多也就选10来个同时运行,再根据需要来更换。



(4)给小米坡软件word文档转视频工具编写一个tts.py文件,放到软件的tts目录中,重启软件或更新tts目录后即可生效。

1.17版内置了一个“ud_测试专用.py” 的tts配音文件,大家只需要api_url地址修改成你本机的GPT-SoVITS地址,把多余的代码做了清理就能直接使用了。

当然,如果你也在本地启动了多个角色配音模型同时运行,你就可以沿用现代码中的多角色功能。


整体说起来,仍旧需要一定的技术基础,才能顺利搭建。

关于第3步第4步,大家可以选用本站提供的API管理器,并直接生成tts文件。可直接减少部署难得,提供管理效率。



PS:声音模型也是有版权的,大家如果使用别人分享的模型,一定要严格遵守模型作者的使用要求。如果自己炼制模型,一定要注意未经别人许可不可随意克隆别人的声音模型。