Wire的声学

Wire的声学

Valheim 的光线追踪音效。每帧约 0.03ms(基本可忽略不计)。

[size=6][b]Wire's Acoustics[/b][/size]

为 Valheim 的音频提供光线追踪房间声学、遮挡和 HRTF。客户端模组。

[size=5][b]视频[/b][/size]

稍后推出(尚未录制)。


[size=5][b]工作原理[/b][/size]

一切均以音频听者(摄像机)为基准测量,绝不基于角色。

[size=4][b]1. 房间测量[/b][/size]
[list]
[]每 0.2 秒,从听者向均匀分布的方向(Fibonacci 球面)发射 64 条射线,最远 50 米,检测建筑部件、地形、岩石和静态物体。以单个 Unity RaycastCommand 批次在工作线程上投射;结果在下一个 tick 读取。[/]
[][b]封闭度:[/b]水平和向上射线中命中物体的比例。[/]
[][b]平均自由程:[/b]平均命中距离(声音所感知的房间大小)。[/]
[][b]吸收[/b](表面吞掉的声音能量比例),按命中物体划分:
[list]
[
]石头、灰烬石、冰 0.03,大理石 0.02,铁 0.04,远古 0.05,硬木和木材 0.09,木头 0.12[/]
[
]家具、工作台、架子、道具(非建筑部件)0.30[/]
[
]床、旗帜、地毯(游戏的舒适度分组)、小地毯、兽皮、布料 0.55[/]
[
]地形(土壤、草地)0.35,岩石 0.04,树木及其他 0.15[/]
[
]未命中任何物体的射线(开阔天空、门口)1.0[/]
[/list]建筑部件按其建造类别(锤子的建造标签页)计为墙壁;其他一切均计为家具。[/
]
[][b]衰减时间[/b]按 Sabine 公式计算,RT60 = 0.161 V / (S a)。用平均自由程 l = 4V/S 表示即 RT60 = 0.04 l / a。[/]
[][b]混响电平[/b]来自房间常数,与 (1 - a) / a 成正比:空旷的石室会有回声,有家具的房间几乎不会。[/]
[][b]早期反射延迟[/b]来自最近的命中,[b]晚期混响延迟[/b]来自平均自由程。[/]
[]这些参数驱动一个跟随听者的 AudioReverbZone。模组开启时会移除游戏自带的混响区域(主混响区是一个仅随距离提升的大 4 秒混响;其他区域如地牢的混响区也一并移除),并采用主混响区的设置作为“完全户外”的端点:最终结果根据你的封闭程度向测量出的房间混响混合。只有在数值发生可听变化时才写入。游戏的另一个内置混响——任何屋顶下固定的“室内”混音——在房间混响开启时被测量出的房间混响取代(护盾穹顶内仍使用原混响)。[/]
[/list]
[size=4][b]2. 每个声音的混响量[/b][/size]

游戏仅按距离(距离 / 64 米)提高每个声音的混响发送量。在室内,这里遵循真实房间的规律:近处声音以直达声为主,超过房间临界距离的声音以混响为主。发送量 = d / (d + r),其中 r = 2 米 + 10 米 × 吸收率,按封闭程度与游戏值混合。

[size=4][b]3. 遮挡(墙后的声音)[/b][/size]
[list]
[]声音开始时从听者向每个声音发射一条射线。循环声音每秒重新检查一次,一次性声音在 0.4 秒后仍在播放的(例如在墙后移动的长吼声)每秒检查两次,在工作线程上批量处理(每条射线 8 次命中)。[/]
[]射线经过的一切都计入“中间墙壁”:墙壁、地板、屋顶、横梁、地形和岩石计 1,家具 0.25,树木和其他物体 0.3。跳过声音来源的物体(箱子、工作台、声音所在的一切),但声音所挂载的墙壁(墙上的火把)仍从其另一侧计算。声音前最后 0.5 米被跳过。[/]
[]中间墙壁设定音量和低通截止频率,按插值计算:0 堵墙 100% / 无,1 堵墙 60% / 1500 Hz,2 堵墙 40% / 800 Hz,3 堵以上 28% / 500 Hz。被遮挡的声音还会获得更大的混响占比(传到你这的声音是绕过墙壁的)。[/]
[]通过声音自身上的滤波器应用(OnAudioFilterRead,音频线程):增益和单极点低通,在约 0.15 秒内平滑过渡,避免跳变或咔嗒声(刚开始的声音立即采用其数值)。[/]
[/list]
[size=4][b]4. 绕墙路径:开口和角落[/b][/size]
[list]
[][b]寻找开口:[/b]在封闭空间内(封闭度 35% 或以上),未被命中的水平或向上房间射线从开口(窗户、门、屋顶的洞)穿出。相邻的逃逸射线构成一个开口。开口放在这些射线的平均方向上,距离取周围墙壁的距离,其射线占比表示从你所处位置看它有多大。最多保留 4 个开口,从大到小。[/]
[][b]穿过开口的路径(衍射):[/b]直达线路有墙的声音还会尝试穿过最大的 2 个开口:听者到开口(畅通,这正是发现它的方式),开口到声音。路径的墙壁是开口与声音之间的物体,外加转弯惩罚(声音转弯会损失能量:直行 0,90 度转弯 0.3 堵墙,折返 0.6),音量随额外距离下降(直达距离 / 路径长度)。直达线路和最佳路径中较安静者胜出。[/]
[][b]绕过角落和翻越墙壁:[/b]在没有开口的地方(房屋后的户外、室内的隔断),尝试障碍物周围的五个点:两侧各 2.5 米和 5 米,以及上方 3 米。每条路径为听者到点再到声音,以相同方式计算代价(两段上的墙壁、转弯、额外距离)。[/]
[]通过开口或绕过角落时,声音从穿过处被听到:HRTF 将其定位在窗户或角落,而非墙后的声源。[/]
[]所有路径均在工作线程上投射。墙后的新声音开始是闷的(其直达射线立即检查),如果某条路径更好,会在一两帧后打开。[/]
[/list]
[size=4][b]5. 无位置环境音[/b][/size]

游戏的 2D 环境声(带有鸟、虫和雨的环境循环,以及风声和随机环境叫声)没有可追踪的位置。它们按你的封闭程度(封闭度的平方)被闷住,完全封闭时音量降至 30%、低通 700 Hz,并保留自身的立体声定位。开口让外界进入:开口越大越近,闷感越少,环境循环和风声会偏向它(立体声最多向开口一侧偏移 80%,平滑处理),因此室内的雨声来自窗户。室内开始的随机环境叫声(鸟、虫)也以同样方式偏斜,叠加在其自身的左右定位上(已在左侧的叫声保持在左侧)。

[size=4][b]6. 海洋[/b][/size]

原版在你周围海洋区域(64 米方格)的平均中心播放海洋循环,基本无定位且分布很宽。这里,每秒从听者周围 96 个点(16 个方向,10 到 110 米,在工作线程上)垂直向下发射射线,寻找深水(海平面下地面 6 米或更深)。循环移动到该方向上最近的岸边(每个方向的第一个深水点,按 1 / 距离平方加权),然后像任何有位置的声音一样处理:墙壁、穿过开口的路径和 HRTF。音量仍由游戏决定。

[size=4][b]7. 水下[/b][/size]
[list]
[]摄像机在水面下:一切都被闷住(45%,400 Hz)。[/]
[]来自水面下的声音以同样方式被闷住,但仅当整个声源都在水下:对于生物,其头部必须在水下(一只抬头的游泳灰矮人则不算),其他物体需在水下 30 厘米。远高于海平面的声音跳过水下检查。[/]
[/list]
[size=4][b]8. HRTF(耳机)[/b][/size]

Unity 自带的声像被压平(扩散 180),每个有位置的声音对每只耳朵获得:
[list]
[][b]双耳时间差:[/b]Woodworth 公式,(a / c)(theta + sin theta),头半径 8.75 厘米,最大约 0.66 毫秒,作为远耳的分数延迟。[/]
[][b]头部遮蔽:[/b]远耳高频衰减(低通从 20 kHz 降至完全侧向时的 1.8 kHz),并损失最多 30% 音量;近耳增益最多 12%。[/]
[][b]前后:[/b]来自后方时,约 3.5 kHz 以上的高频在双耳上被遮蔽。[/]
[][b]仰角:[/b]外耳的凹槽,一个峰值滤波器从约 5 kHz(下方)移动到 10 kHz(上方),声音离耳平面越高或越低越深(与耳齐平时无,30 度时 -9 dB),因此前方的声音不会被闷化。[/]
[][b]宽声源保持宽:[/b]HRTF 按游戏设定的声源宽度缩放(其自身扩散,在游戏随距离加宽之前):点声源获得完整方向感,环绕四周的声源(瀑布、护盾穹顶)获得很少。[/]
[]立体声片段保留其宽度(其侧信号被加回)。[/]
[/list]方向每帧由工作线程上的只读 Unity transform 作业计算;主线程仅复制结果。

[size=4][b]9. 主菜单[/b][/size]

菜单场景自身的有位置声音(篝火等)也获得 HRTF,房间测量在任何地方一样运行。

[size=4][b]10. 其他有位置的声音[/b][/size]

一些有位置的声音不使用游戏的音效系统:船尾迹和水声、水中溅水声、护盾发生器的嗡鸣、Ashlands 燃烧声,以及其他模组自己的声源。它们的预制体在加载时获得滤波器,如同音效;运行时创建的声源每 10 秒被捕获。它们获得 HRTF(按其宽度)以及每秒两次在工作线程上进行的墙壁、开口和角落检查。音乐和界面声音不受影响。

[size=4][b]11. 随声源移动的声音[/b][/size]

游戏在某个点生成许多效果声音并留在那里:生物的待机和警戒声、击中、跳跃、死亡。巨魔的吼声会留在起始处,而巨魔继续走。这里,为生物或玩家生成的声音会保持在其身上,直到声音结束或其所有者消失。游戏已附加的声音保持原样。

[size=4][b]12. 你自己的声音[/b][/size]

游戏播放许多玩家声音时无定位,因此听起来像在摄像机里:装备、移动、拉弓、弩装填、法杖施法。玩家身上任何无定位的声音,或在其处生成的,都会被定位到该玩家并跟随他们,像任何声音一样具有 HRTF、墙壁和房间混响。其近距被提升到第三人称摄像机的距离,因此不会比以前更轻。界面声音和游戏中非世界声音的提示(技能升级、肾上腺素和完美闪避提示)保持游戏原本的方式。

[size=4][b]13. 距离淡出[/b][/size]

Unity 的对数衰减在声音的最大距离处不会达到静音,而是在那里截断:走出范围的声音从轻突然变为无。此类声音改为在其范围的最后 40% 平滑淡出(每帧在工作线程上读取距离)。

[size=4][b]14. 邻近语音聊天(Azumatt)[/b][/size]

语音是其自己的音频源,因此直接处理:有位置时用 HRTF(全局时用普通声像),每秒 5 次遮挡和穿过开口的路径检查(批量处理),按说话者头部进行水下闷化。此模组开启时,其自身的遮挡和水下闷化被暂停,避免重复应用。其“语音混响”选项保持原样。


[size=5][b]工作在哪里运行,以及开销[/b][/size]
[list]
[][b]Unity 工作线程(作业):[/b]房间射线、海洋射线、所有绕墙路径、播放声音和语音的复查、HRTF 方向。[/]
[][b]音频线程:[/b]逐样本的闷化和 HRTF。[/]
[][b]主线程:[/b]每个新声音一条遮挡射线、寻找开口、每 10 秒拾取运行时声源、声音随所有者移动、应用结果、混响值变化时更新。[/]
[/list]在一个生活化的基地中用主线程分析器测量(约 75 fps,每帧约 13 毫秒),六次捕获:[b]主线程每帧 0.025 到 0.036 毫秒[/b],最近一次(含开口和海洋)0.036 毫秒;角落、复查和其他声源是在那之后添加的。模组自身的计时一致:每帧工作约 0.04 毫秒,每个声音开始约 4 微秒(繁忙基地中每 3 秒有 150 到 180 个声音),偶尔在房间射线遇到未见过的表面时出现 0.4 到 0.5 毫秒的短帧。

以 fps 计:60 fps(16.7 毫秒)变为 59.9 fps;144 fps(6.9 毫秒)变为 143.3 fps。

音频线程上的工作不会拖慢帧;如果过载,你会听到爆音,而不是掉帧。


[size=5][b]与其他模组比较[/b][/size]

[size=4][b]Sound Physics Remastered(Minecraft)[/b][/size]

[url=https://github.com/henkelmax/sound-physics-remastered]Sound Physics Remastered[/url] 为 Minecraft 提供“真实的声衰减、混响和穿块吸收”,通过追踪声音在世界中的反射实现。同一类思路。这里:每条射线一次反射加上房间声学公式,而非多次反射;逐材质和逐家具吸收;我们自己的 HRTF 方向感;工作转移到工作线程和音频线程。

[size=4][b]Immersive Weather & Acoustics[/b][/size]

按其源码(版本 8.7.7):
[list]
[][b]测量自:[/b]它使用角色;Wire's Acoustics 使用摄像机。[/]
[][b]“室内”检查:[/b]它从角色向仅建筑部件发射约 90 条射线(洞穴和山丘不算),每个物理步(约每秒 50 次),在主线程上。Wire's Acoustics 从摄像机向部件、地形、岩石和静态物体发射 64 条射线,每秒 5 次,在工作线程上。[/]
[][b]结果:[/b]一个室内/室外量,对比封闭度、房间大小和逐材质吸收。[/]
[][b]混响:[/b]不变(游戏的仅距离混响),对比测量房间混响。[/]
[][b]墙后声音:[/b]仅音量,每帧每个播放声音一条射线,仅建筑部件;对比按墙壁数量调整音量和低通,每个声音一次(循环每秒一次,批量处理)。[/]
[][b]室内雨、风、海洋:[/b]音量乘数(可配置到静音);对比雨和风按封闭度闷化,靠近开口时减少并向开口偏斜,海洋定位到最近岸边。[/]
[][b]穿过窗户、门和角落的声音:[/b]不处理;对比穿过开口和绕过角落的路径,从穿过处听到。[/]
[][b]方向:[/b]Unity 声像,对比 HRTF。[/]
[][b]视觉效果:[/b]它在室内隐藏雨雪粒子并限制室内雾;Wire's Acoustics 无视觉效果。[/]
[/list]同时运行两者:将其 EnableAudioOcclusion = false 设为 false,以便只有一个音频系统处于活动状态;其视觉天气剔除可以保持开启。


[size=5][b]设置[/b][/size]
[list]
[][b]通用:[/b]启用、房间混响、闷化、HRTF(耳机)。[/]
[][b]调校:[/b]混响强度、闷化强度。[/]
[][b]调试(高级):[/b]调试日志(测量空间、最闷的声音、主线程时间,每隔几秒)。[/]
[/list]

[size=5][b]致谢[/b][/size]

思路来自 Vercidium 关于光线追踪音频的开发日志(“Physically-based audio: why most games sound fake”)。


[b]免责声明:[/b]开发由 AI 辅助。非完全人工或 AI。


[url=https://ko-fi.com/krosshair]https://ko-fi.com/krosshair[/url]