听录_语音转字幕_重混国语音轨，纯人声分离工具之一Spleeter详细教程

yaojingzhe · 发表于 21-4-16 12:19

本帖最后由 yaojingzhe 于 21-4-29 17:27 编辑

菜鸟教菜鸟之
适合听录、语音转字幕、重混国语高质量音轨，纯人声分离技术之Spleeter(基于Python3)

我在语音转字幕，发现字幕正确率只有60%左右。现在用纯人声进行语音转字幕，正确率达到90%，时间轴也在语音附件。

我发布这贴子和已经发布的

SubtitleEdit 3.6 把SUP转SRT 及百度翻译插件等实用插件
https://cnlang.org/thread-84159-1-1.html
Aegisub安装Aegisub-motion v1.0.9等84个自动化脚本教程
https://cnlang.org/thread-84318-1-1.html
语音转字幕教程之基于python3开源代码autosub3详细教程
https://cnlang.org/thread-84774-1-1.html
语音转字幕之用vidio-srt调用阿里云免费语音识别详细教程
https://cnlang.org/thread-84580-1-1.html
语音转字幕之用autosub-alpha调用百度云免费语音识别详细教程
https://cnlang.org/thread-84853-1-1.html

实测对国配音轨转字幕非常有帮助

因为语音转字幕，需要用这贴子的方法：
一、提取纯的人声
二、语音转字幕(正在编辑教程)
三、用SubtitleEdit 3.6.0听录校对文字和调整时间轴
四、用Aegisub的Aegisub-motion v1.0.9 制作特效字幕。

分离人声，也可以重混高质量国语音轨
把质量低的或者2.0的国语纯人声提取出来，把英语ac3或dts的c音轨背景声音也提取出来，混合成新的c音轨，封装到英语ac3或dts里

基础篇：安装和配置Python ffmpeg
（熟练的人，请跳过）

1. python下载和安装

下载python3.8.8，官网地址https://www.python.org/getit/

python-3.8.8-amd64.exe安装，我喜欢把python安装在c:\python\python388里

一路“next”完成安装。

检查python安装和环境变量配置情况：
按win+r 输入cmd，进入dos界面（以下简称为“CMD”），输入python --version，显示python版本。

2. 下载和配置ffmpeg

下载ffmpeg，地址： www.gyan.dev

解压“ffmpeg-git-full.7z”
把解压的文件夹，复制到你习惯保存的位置，我是放在c:\python文件夹里
把包含3个文件的c:\python\ffmpeg\bin复制

打开环境变量，把刚才复制的c:\python\\ffmpeg\bin添加到环境变量里，确认保存。

CMD命令行中输入“ffmpeg –version”，配置成功如下图

3. 微软常用运行库集合

主题篇，人声与背景音乐分离技术之Spleeter
这是基于Python3.7及以上但不支持Python3.9x（截止2021年4月1日）

游客，如果您要查看本帖隐藏内容请回复

hong · 发表于 21-4-16 23:52

这个教程很不错，对重混国语音轨非常有用。

q280755707 · 发表于 21-4-16 16:02

技术大佬，感谢分享！

yaojingzhe · 发表于 21-4-16 12:19

本帖最后由 yaojingzhe 于 21-4-16 13:31 编辑

断断续续编写了有一个月，反复测试

尤其到后来，字数不能超过10000字，又反复调整和精简。

人声分离，对听录和国语音轨转字幕，非常有帮助。

对与重混国语音轨，我没有测试过，这是思路，效果如何，要试试才知道，分离出来的人声还是相当干净的

把国语纯人声（缺少背景音），与英语AC3的c声道的背景声音（剔除英语人声）混合成新的c声道，再与英语ac3的其它声道，重混成ac3。但需要把英语与国语的音轨时间精确对齐。

再次说明，发布这教程，主要是为了听录和国语转字幕。欢迎探讨！

Tangwenx · 发表于 21-4-16 12:26

谢谢大神，有人写过Spleeter Gui，一键安装，不用配置这么多，不过一般是用来分离歌曲人声的，用来分离1-2小时的电影的话估计很耗时间

jinjian5530 · 发表于 21-4-16 12:30

听说过人声与背景音乐分离，实在不敢相信影视的对白或背景音乐能够无损提取？背景音和人声混杂一起的软件可以处理好？感觉处理歌曲类的可能尚可，或者有使用过的大神谈谈效果。
还是感谢楼主分享。

觅影君 · 发表于 21-4-16 12:40

这么好的教程，必须赞一个，分离人声确实能应用到的场景非常多。

whzlwd · 发表于 21-4-16 12:55

电影人声的背景声比较复杂，无损分离很难，并且国语音轨中也不能缺少背景声。就算能无损分离出人声，没有电影原声背景声素材也无法合成国语音轨。所以无论怎么搞，都是坑啊。如果楼主能够搞成功的话，那就解决了一个大问题了。

yaojingzhe · 发表于 21-4-16 13:02

whzlwd 发表于 21-4-16 12:55
电影人声的背景声比较复杂，无损分离很难，并且国语音轨中也不能缺少背景声。就算能无损分离出人声，没有电 ...

我的思路是，把国语纯人声（缺少背景音），与英语AC3的c声道的背景声音（剔除英语人声）混合成新的c声道，再与英语ac3的其它声道，重混成ac3。但需要把英语与国语的音轨时间精确对齐

whzlwd · 发表于 21-4-16 13:20

思路是没问题的。难点就在无损的分离复杂的电影背景声。因为没有试过楼主的方法，只是感觉建立无损分离电影背景声的模型库和算法非常难，如果达不到无损标准，那就意义不大。

千石 · 发表于 21-4-16 13:20

严重关注此贴

whzlwd · 发表于 21-4-16 13:22

当然，如果这个东西能搞成，那就非常令人期盼了。

习学爱 · 发表于 21-4-16 13:27

英语与国语的音轨配音时间有些不能对齐，主要是指说话人不在画面内，或者旁白时的对入点不一样，这点调试过音轨的人都清楚的，呵呵！

fengwhen · 发表于 21-4-16 14:54

感谢大佬提供这么使用的教程。谢谢楼主

觅影君 · 发表于 21-4-16 15:20

请问一下，如果不安装Python3.7会有什么影响，是安装不了spleeter，或是可以安装spleeter，但是功能受限或者提取音轨时有问题？还是运行时有其他的缺陷呢？谢谢

JMDZ · 发表于 21-4-16 15:26

看看教程

yaojingzhe · 发表于 21-4-16 15:40

搜影发表于 21-4-16 15:20
请问一下，如果不安装Python3.7会有什么影响，是安装不了spleeter，或是可以安装spleeter，但是功能受限或 ...

没有影响，我是用python3.8.8安装slpeeter的。如果你安装spleeterGUI，你不用考虑python，它自带了python（功能不全，是嵌入式的版本，不是独立版本）

觅影君 · 发表于 21-4-16 15:47

本帖最后由搜影于 21-4-16 15:54 编辑

yaojingzhe 发表于 21-4-16 15:40
没有影响，我是用python3.8.8安装slpeeter的。如果你安装spleeterGUI，你不用考虑python，它自带了python ...

感谢解答，多谢。我只安装了spleeterGUI，试着分离了一个电影片段，人声效果提取的很好，但是背景音乐不理想，这个是软件的自身问题，还是因为没有安装python导致的功能缺陷？

叫什么好呢 · 发表于 21-4-16 15:50

我正好在做一个背景杂音很大的字幕,感谢楼主

低调做人 · 发表于 21-4-16 15:55

教程非常好，谢谢分享

yunhuiwu · 发表于 21-4-16 16:01

这个教程非常实用，谢谢楼主分享

		自动登录	找回密码
密码			立即注册

[音频技术] 听录_语音转字幕_重混国语音轨，纯人声分离工具之一Spleeter详细教程

评分

点评

点评

王者至尊

富甲天下

宣传达人

最佳新人

优秀版主

突出贡献

版主

音轨组

热心会员

皇马褂