Easy LLM 语音

Easy LLM 语音

Easy LLM Voice是一个Fabric模组，它通过WebSocket将Minecraft的简单语音聊天模组与外部AI代理连接起来。

技术

Easy LLM 语音预览查看大图

Easy LLM Voice

Easy LLM Voice 是一个 Fabric 模组，通过 WebSocket 将 Minecraft 的 Simple Voice Chat 模组 与外部 AI 智能体连接起来。

使用此模组，AI 智能体可以通过 Simple Voice Chat 模组在游戏中说话和聆听。

通过使用下面的仓库，您可以实现并开发能够与玩家一起进行语音对话的 Minecraft AI 智能体。
关于本模组的详细使用方法，请同时参阅该仓库。

- Easy LLM Voice Agent: https://github.com/Koichiro-terao/Easy-LLM-Voice-Agent-in-Minecraft

使用 Easy LLM Voice Agent 时，请同时安装以下模组。

功能

  • 将来自 Simple Voice Chat 模组的音频发送到外部程序
  • 在 Minecraft 内播放从外部程序接收的音频
  • 将音频与游戏内的 Minecraft 玩家关联，从而基于 Simple Voice Chat 模组的距离衰减和可听范围共享语音
  • 通过 GUI 管理多个 AI 智能体的连接端点

环境要求

  • Minecraft 1.21
  • Java 21
  • Fabric Loader 0.16.9 或更高版本
  • Fabric API
  • Simple Voice Chat 模组
  • 外部程序

在本说明文档中，“外部程序”指的是在 AI 智能体端实现的 WebSocket 服务器，例如用 Python 实现。Easy LLM Voice Agent 提供了一个示例程序。

安装方法

将以下文件放入服务端 mods 文件夹：

如果希望通过 GUI 配置连接目标，还需要将 easy-llm-voice-fabric-1.0.0+mc1.21.jar 安装到用于配置的 Minecraft 客户端上。

连接模型

在本模组中，Minecraft 充当 WebSocket 客户端。

因此，您需要在外部程序中启动一个 WebSocket 服务器，然后通过模组 GUI 注册其 host 和 port。

GUI 字段：

  • player name：要关联语音的游戏内 Minecraft 玩家名称
  • host：外部程序的主机名或 IP 地址
  • port：外部程序的端口号

模组 GUI 英文版

使用方法

  1. 在 Minecraft 服务器上安装本模组及其依赖模组。
  2. 启动外部程序。
  3. 加入 Minecraft，按下 v 键打开 GUI（如果该按键与 Simple Voice Chat 模组的按键冲突，请在设置中更改按键绑定）。
  4. 输入 player name、host 和 port，然后添加连接目标。
  5. 添加连接目标后，从列表中选择该目标，并确认详细信息面板中显示 connected: True。如果显示未更新，请重新打开 GUI 或点击 Reload。

连接成功后，外部程序可以接收目标玩家能听到的音频，并从目标玩家的位置播放音频。

注意事项

  • 本模组本身不会运行 AI 智能体、语音识别或语音合成。
  • 请自行在外部程序端准备 LLM、语音识别、语音合成、Mineflayer 及其他必要组件。
  • Simple Voice Chat 模组的服务器设置和 UDP 端口设置需要单独配置。
  • 服务器和使用 GUI 的客户端需要安装相同版本的 Easy LLM Voice。

许可证

保留所有权利。

严禁未经授权的复制和再分发。

鸣谢