
唇形同步动画师
为你的模组角色提供与其台词匹配的口型同步动画。该工具根据每句台词的音频和字幕,生成与语音同步的嘴部动作,并将它们关联到你的WolvenKit场景中。你不再需要借用与原台词用词不同的原版台词的口型同步动画。它是免费且开源的。
查看大图[size=5][b]Lipsync Animator[/b][/size]
[b][i][color=#ffff00]这是一个供其他模组作者改进现有/即将推出的模组的工具。[/color][/i][/b]
[b][i][color=#ffff00]它不是要安装到游戏里的东西。[/color][/i][/b]
为你的模组中的新角色提供与其台词内容相匹配的口型同步动画。
大多数带有新语音的模组会借用长度大致相同的原版台词的的口型同步动画。角色说话时嘴唇会动,但它们是在做原版台词的口型,大多数停顿也是错的。这相当明显。
[b]Lipsync Animator[/b] 会读取每句台词的音频和字幕,并针对实际说出的词构建嘴部动作,与语音同步。结果是生成一个 [b].anims[/b] 文件,这是游戏用于口型同步动画的格式,并且已经与你的 WolvenKit 场景中的台词关联好。
[size=4][b]适用场景[/b][/size]
[list=1]
[]由你的配音演员配音的新角色。他们的每一句台词都会获得与录音匹配的口型同步动画。[/]
[]你拆分或删减了原版台词的现有角色。原有的口型同步动画不再匹配变短的音频。在你的项目中为每个片段分配各自的台词、音频文件和字幕,工具会为其构建新的口型同步动画。[/]
[/list]
[size=4][b]安装前先试试[/b][/size]
想先看看效果如何?前往 [url=https://lipsync.tools/]lipsync.tools[/url],给它一段录音及其文本,然后下载它生成的 .anims 文件。
[size=4][b]功能[/b][/size]
[list]
[]一条命令即可为你的 WolvenKit 项目中场景的每一句台词,根据该台词的音频和字幕生成口型同步动画。[/]
[]工具会将每句台词关联到其新动画,并将该场景添加到你的 lipmap 中——这是游戏用来查找口型同步动画的文件。然后照常打包并安装项目。[/]
[]在做出任何更改之前,工具会将要更改的每个文件复制到项目中的 lipsync_backup 文件夹中。[/]
[]音频不在你的项目中的台词(例如原版台词)会保留其当前使用的口型同步动画。[/]
[]新台词会移动嘴部、下颌、舌头和脸颊,并且眼睛会眨眼。面部其余部分、头部和颈部保持游戏为该角色设定的状态。[/]
[/list]
[size=4][b]工作原理[/b][/size]
该工具[b][u]不使用生成式 AI[/u][/b],也不会更改你的音频。它通过平均 CDPR 的动画在某个音素上的表现,从游戏自带的 1,148 句台词中学习每个发音的嘴型。工具会随附这份音素与嘴型列表。该列表仅包含数字,不包含任何游戏文件。
为了给每个音素计时,工具会使用 Montreal Forced Aligner(如果你已安装的话)(强烈推荐)。如果没有对齐器,它会将音素放置在音频中的停顿之间。
[size=4][b]效果如何——请调整好预期[/b][/size]
该工具重建了十个它从未见过的游戏角色的台词,然后将每一句与 CDPR 自己的动画进行评分。1 表示完全一致,0 表示完全错误。以下数字分别为 1. 使用对齐器,2. 不使用对齐器,3. 复制原版动画:
[list]
[]嘴唇闭合("m"、"b"、"p"):0.85,0.43,0.01[/]
[]下颌:0.78,0.67,0.26[/]
[]嘴唇收圆("w"、"oo"):0.68,0.44,0.02[/]
[]下唇位于牙齿下方("f"、"v"):0.85,0.49,0.02[/]
[]嘴角:0.67,0.53,0.09[/]
[/list]
[size=4][b]要求[/b][/size]
对作为模组作者的你:
[list]
[]Windows(更简单,但我也让它在 Linux 上可用。如需要帮助请联系我!)[/]
[][url=https://www.python.org/downloads/]Python[/url] 3.12 至 3.15[/]
[][url=https://github.com/WolvenKit/WolvenKit/releases]WolvenKit[/url] 9.1 或更高版本[/]
[]已安装 Cyberpunk 2077,支持 2.5。与 WolvenKit 一样,该工具会从你的游戏中读取文件。[/]
[]推荐:[url=https://montreal-forced-aligner.readthedocs.io/]Montreal Forced Aligner[/url]。它能精确找出每个音素被说出的时间,因此嘴唇准确度大约提高一倍。[/]
[/list]
对使用你模组的玩家:
[list]
[][url=https://www.nexusmods.com/cyberpunk2077/mods/4198]ArchiveXL[/url],与大多数带语音的模组一样[/]
[/list]
[size=4][b]安装[/b][/size]
[list=1]
[]安装 Python。在安装程序的第一屏,勾选"Add python.exe to PATH"。[/]
[]在终端中运行:
[code]pip install numpy soundfile pythonnet[/code][/]
[]我假设你已有它,但如果没有,请安装 WolvenKit 应用,版本 9.1 或更高。[/]
[]推荐:安装对齐器。仅为你的用户安装 [url=https://github.com/conda-forge/miniforge]Miniforge[/url],打开"Miniforge Prompt"并运行:
[code]mamba create -n mfa -c conda-forge montreal-forced-aligner
mamba run -n mfa mfa model download acoustic english_us_arpa
mamba run -n mfa mfa model download dictionary english_us_arpa
mamba run -n mfa mfa model download g2p english_us_arpa[/code][/]
[]从 Files 标签页下载 Lipsync Animator,解压并在其文件夹中打开终端。
[code]python -m lipsync_animator --help[/code]应列出相关命令。[/]
[/list]
初次使用 Python,或遇到问题?请按照 github 上的[url=https://github.com/andreaolivato/cyberpunk2077-lipsync-animator/blob/main/docs/install.md]分步安装指南[/url]操作。
[size=4][b]使用[/b][/size]
在 WolvenKit 中,像任何带自定义语音的模组一样设置场景:为每个角色分配一个语音标签(任意数字,每个角色不同),并添加每句台词的音频文件和字幕。关闭场景的标签页(重要!!),然后运行:
[code]python -m lipsync_animator scene "C:\Mods\MyMod" mod\mymod\scenes\talk.scene[/code]
第一部分是你的项目文件夹。第二部分是场景的路径,如同 WolvenKit 的 Project Explorer 中显示的那样。脚本运行后,重新打开场景,然后照常打包并安装。
有关 WolvenKit 的分步截图,以及不使用 WolvenKit 构建的模组,请参阅 github 上的完整[url=https://github.com/andreaolivato/cyberpunk2077-lipsync-animator/blob/main/docs/usage.md]使用指南[/url]。
[size=4][b]录音建议[/b][/size]
这很适合与你的配音演员分享,以简化朗读。
[list]
[]在第一个词之前和最后一个词之后留出约 0.3 秒的静音。[/]
[]完全按照说出的内容写字幕,包括名字。将数字写成单词("fifteen",而不是"15")。[/]
[/list]
[size=4][b]限制[/b][/size]
[list]
[]该工具目前仅支持英语。如果你想为更多语言生成词典,请参阅 github 上的[url=https://github.com/andreaolivato/cyberpunk2077-lipsync-animator/blob/main/CONTRIBUTING.md]贡献指南[/url]。[/]
[]该工具仅对嘴部和下颌做动画,以及眼睛眨眼。在 CDPR 的原始原版动画中,角色说话时眉毛和眼睛方向也会略微移动。[/]
[]我在游戏版本 2.31 和 2.5 上进行了游戏内测试。[/]
[/list]
[size=4][b]源代码与错误报告[/b][/size]
该项目完全开源,源代码位于 [url=https://github.com/andreaolivato/cyberpunk2077-lipsync-animator]GitHub[/url]。要报告错误或建议更改,请在那里提交 issue 或在 Bugs 标签页中发帖。如相关,请务必上传相关的音频文件和字幕。
[size=4][b]致谢[/b][/size]
[list]
[][url=https://github.com/WolvenKit/WolvenKit]WolvenKit[/url]:该工具使用 WolvenKit 的库读写游戏文件。[/]
[][url=https://montreal-forced-aligner.readthedocs.io/]Montreal Forced Aligner[/url]:为你的音频中的每个音素计时。[/]
[]The CMU Pronouncing Dictionary(BSD 许可证):随工具提供的发音列表[/]
[][url=https://www.nexusmods.com/cyberpunk2077/mods/4198]ArchiveXL[/url]:在游戏中加载你模组的 lipmap。[/]
[/list]
Lipsync Animator 采用 MIT 许可证。它是非官方粉丝作品,未经 CD PROJEKT RED 批准或认可。Cyberpunk 2077、其名称、商标和游戏内容归 CD PROJEKT RED 所有。
正在加载版本记录…
正在加载评论…
评论在新手盒子客户端中发表,这里同步展示。