
索姆尼姆
Minecraft魔法模组,具有动态生成的机制。
描述
Somnium 是一个以魔法为核心的 Minecraft 模组,其游戏机制与代码逻辑在运行时动态生成。这一过程通过使用链式智能体框架(一系列顺序执行的 LLM)来实现,其输入与输出受预先存在的应用程序接口约束。
免责声明:即使物品带有某种描述,也并不意味着它们真的会执行描述中所说的功能。目前仅官方支持单人游戏。
玩法(截至当前版本)
如果在正确的地点进行,可以使用山羊角来启动仪式。燃烧物品也可能产生某些效果。其他会发生什么尚不清楚。
硬件要求
为了避免 LLM 处理耗时过长,建议使用至少具有 8GB 显存的 GPU。或者,建议至少具有 16GB 内存。
这些模型总共需要 16.11 GB 的存储空间。
安装
该模组要求主机上运行 Ollama 服务(使用默认配置时)。要下载 Ollama,请查看官方网站。安装 Ollama 后,需要安装以下三个模型
- qwen2.5vl:7b
- ALIENTELLIGENCE/gamemasterroleplaying:latest
- qwen3:8b
- snowflake-arctic-embed:110m
可以通过运行 ollama pull <model name> 来安装模型。要检查 GPU 驱动是否已正确设置以及 Ollama 是否能够使用它们,请使用 ollama run <model name> 运行任意模型,并在另一个 CLI 实例中运行 ollama ps。如果 GPU 可用,它应该会显示该模型完全或部分运行在 GPU 上。更多细节请查看 Ollama FAQ。
如果一切设置正确,加入世界时聊天栏中应出现消息 Ollama server is online!。
技术细节
如果你希望在尝试该模组之前不了解其确切机制,请将此视为剧透警告。
该模组的事件处理器会监听玩家的某些活动,这些活动会作为仪式的触发条件。截至目前,这些活动包括:
- 使用山羊角
当执行上述任一动作时,会使用一个由 4 个 LLM 组成的智能体链来生成所需结果。这 4 个 LLM 分类为:
- 描述模型
- 过滤模型
- 上下文生成模型
- 编码模型
该过程采取以下步骤
- 渲染数据 + 一个引导提示由描述模型处理,生成图像的自然语言描述
- 生成的描述 + 一个引导提示由过滤模型处理,其任务是判断环境是否相关。在这种情况下,相关环境是指玩家似乎处于某种类似神庙的结构中。
- 如果描述相关,则附加玩家活动日志(玩家最近燃烧了哪些物品)并提示给上下文生成器。该模型充当游戏主持人,负责决定游戏的叙事。它生成包含游戏中应该发生什么的描述的响应。
- 编码模型的任务是使用预定义 API,将生成的描述最好地实现为代码。
Python 代码、解释与链接
在 Ollama 托管的代码生成器完成后,代码需要在服务器上运行。这基本上等同于从远程位置执行任意代码。即使没有恶意行为者参与,接收到的代码也是由 LLM 生成的,因此通常不应被信任。为了缓解这个问题,选择了尽可能简单的代码解释器。这改善了情况,因为代码解释器可以被设置为只能访问一组特定函数,这些函数可从原始代码库中调用。剩下的唯一问题是应该解释哪种语言。
即使 Minecraft 是用 Java 编写的,仍然选择 Python 作为 LLM 必须生成以在游戏中实现功能的语言。这样做是出于以下原因:
- 语法轻量,使编写解释器更容易
- Python 代码在互联网上比其他编程语言更常见,使其在用于 LLM 的数据集中占有很大比重。
- 它不是强类型的,因此 LLM 犯错的可能性更低
该模组中包含的 Python 解释器只实现了以下特性
- 运算符
- 变量
- 函数
- 循环
- if 语句
- 三元运算符
- lambda 表达式
- 列表
- 元组
为了使被解释的 Python 代码能够调用 Java 方法,添加了函数链接功能。这允许将 Python 函数调用和参数路由到预定义的 Java 方法,其中 Java 方法的返回值也会路由回 Python 代码的返回值。解释器内置的一组函数默认已链接(例如函数 print 的实现)。作为模组功能一部分的其他函数(创建效果、物品、治疗实体等)通过使用 @PythonMethodLink 注解静态方法来链接。该注解还接收一个 docs 参数,其中应包含该函数的文档。该文档很重要,因为它会被提示给编码模型。
正在加载版本记录…
正在加载评论…
评论在新手盒子客户端中发表,这里同步展示。