Codex 客户端控制

Codex 客户端控制

一个用于AI驱动的Minecraft客户端控制的本地HTTP桥接。

装备

Codex Client Control 源于一个简单的问题:大多数 AI 工具能够解释 Minecraft、讨论 Minecraft,并为 Minecraft 编写代码,但它们仍然无法真正操作一个正在运行的 Minecraft 客户端。

这个模组正是为了填补这一空白。它在 127.0.0.1 上开放一个受令牌保护的本地 HTTP 和 WebSocket 接口,使同一台机器上的 AI 代理能够读取客户端状态,并向它应当控制的客户端发回真实的游戏内操作。

本项目首先是为 Codex 而构建的。这个名字并非偶然:它的存在是为了给 Codex 提供一条实用途径,让它能够看到客户端正在做什么、检查当前 UI,并执行实际的游戏侧操作,而不是止步于纯文本推理。

在实践中,这意味着外部工具可以读取聊天、检查当前界面、查看聚焦方块、查看容器内容、移动玩家、转动视角、切换快捷栏槽位、在 GUI 输入框中输入文字、点击控件、截取屏幕截图,或运行简短的操作序列。

HTTP 是刻意选择的。它简单、易于检查、易于调试,也易于被 AI 工具调用。只要一个代理能够发起普通的本地请求,它就能控制客户端,而无需特殊的插件宿主或内嵌脚本环境。

为什么存在

  • 让 AI 工具能够操作真实的 Minecraft 客户端,而不只是谈论它
  • 为 Codex 提供一条通过本地 API 的直截了当的控制路径
  • 让客户端自动化易于检查、测试和扩展
  • 在普通脚本、桌面工具和 AI 代理与运行中的游戏客户端之间架起桥梁

它可以控制什么

  • 玩家状态、聊天历史、准星目标、容器内容、当前界面和玩家列表
  • 移动按键、视角控制、快捷栏选择、发送聊天和执行命令
  • GUI 点击、滚轮输入、按键输入、文本输入和控件定位
  • 屏幕截图、操作序列、受管理操作和本地调试辅助功能

说明

  • 该 API 默认仅限本地,并受令牌保护。
  • 它控制的是你已经在运行的客户端;它不会登录第二个账号。
  • 它首先是为 Codex 构建的,但任何能够调用本地 API 的东西都可以使用它。
  • 如果你需要非常重的持续自动化,仓库还包含一个可选的 lan-bot 子项目,用于这类工作负载。