?-简介:
OpenAI开源的Whisper对音频/视频文件的语音识别率很高,而ChatGPT很擅长翻译,因此一些字幕组开始采用Whisper+ChatGPT结合来完成影视字幕的翻译,其中Whisper负责将音频/视频文件转录为字幕文本,然后调用ChatGPT、Google Translte之类翻译软件对字幕文本翻译。
大致技术流程:
1、调用Whsiper转录音频/视频文件,得到带时间轴的文本字幕 。
2、人工校对审核
3、使用ChatGPT、Google Translate、DeepL之类翻译软件将文本字幕翻译为指定语言字幕
Whisper+ChatGPT能够大幅提升字幕翻译效率,但仍然需要人工校对审核,并不能完全自动化。
由于Whisper是基于Python的,对于很多字幕组人员,要熟悉Python环境及命令行操作较为麻烦,因此有很多人直接使用基于Whisper的CPP版本 whisper.cpp 版本 WhisperDesktop 或 Buzz ,也有使用N46Whisper,基于Google Colab,避免自己搭建维护环境。
汇总一下字幕翻译常用的工具集
Buzz
https://github.com/chidiwilliams/buzz
Buzz 是一款基于 OpenAI Whisper 的开源、可离线的实时语音转文字工具,支持 Windows、macOS、Linux,它可以将麦克风的语音实时转换为文字,也支持将视频、音频文件转换为文字、字幕。
Buzz算是目前对Whisper封装得比较易用的开源项目。
N46Whisper
https://github.com/Ayanaminn/N46Whisper
N46Whisper 是基于 Google Colab 的应用(也支持ChatGPT)。开发初衷旨在提高乃木坂46(以及坂道系)字幕组的工作效率。但本应用亦适于所有日语视频的字幕制作。
此应用基于AI语音识别模型 Whisper
应用输出文件为ass格式,内置指定字幕组的字幕格式,可直接导入 Aegisub 进行后续翻译及时间轴校正。
对不熟悉技术以及电脑配置一般的,可以考虑N46Whisper。
Subs AI
https://github.com/abdeladim-s/subsai
这项目对基于Whisper的几个衍生项目都有支持,包括:openai/whisper ,linto-ai/whisper-timestamped ,ggerganov/whisper.cpp ,guillaumekln/faster-whisper。
V2sub
功能还不错,非开源。
PyAutoSRT
https://github.com/botbahlul/PyAutoSRT
于PySimpleGUI的桌面应用程序,可为任何视频或音频文件自动生成字幕文件和翻译字幕文件(使用非官方在线谷歌翻译API)
subtitle-translator
Node.js版:https://github.com/gnehs/subtitle-translator
Electorn版:https://github.com/gnehs/subtitle-translator-electron
基于ChatGPT翻译影视字幕。
SubtitleEdit Online
https://www.nikse.dk/subtitleedit/online
在线字幕翻译
AISubtitle
https://github.com/cgsvv/AISubtitle
writeout.ai
https://github.com/beyondcode/writeout.ai
转录并翻译音频文件,基于OpenAI Whisper API和OpenAI API
srt-ai
https://github.com/yazinsai/srt-ai
使用 AI 将 SRT 文件翻译成任何语言
caption2text
https://github.com/F-loat/caption2text
PWA 版字幕转换为文本工具,支持 ass 及 srt 格式,可批量导出为 word 及 text 文件
声明:
1 - 在转载本文章时,请保留原文链接,感谢!
2 - 本站发布的资源来源于互联网,可能会存在水印或引流等信息,请您自行鉴别,防止被割韭菜。
3 - 本站的所有资源和文章均来自于互联网的收集和整理,本站不参与制作。如果您认为我们的内容侵犯了您的合法权益,请联系我们,我们将会及时删除。
4 - 本站的所有资源仅供研究和学习交流之用。如果您打算将其用于商业用途,请购买正版授权,否则一切后果将由下载用户自行承担。
5 - 联系邮箱:[email protected]