该责任由通用东谈主工智能征询院 × 北京大学联手打造。第一作家郑欣悦为通用东谈主工智能征询院征询员，共团结看成北京大学东谈主工智能征询院博士生林昊苇，通信作家为北京大学助理线路梁一韬和通用东谈主工智能征询院征询员郑子隆。

拓荒能在灵通宇宙中完成千般任务的通用智能体，是AI领域的中枢挑战。灵通宇宙强调环境的动态性及任务的非预设性，智能体必须具备简直的泛化智商材干慎重马虎。但是，现存评测体系多受限于任务千般化不及、任务数目有限以及环境单一等身分，难以准确掂量智能体是否简直「相识」任务，或仅是「记取」了特定解法。

为此，咱们构建了 Minecraft Universe（MCU） ——一个面向通用智能体评测的生成式灵通宇宙平台。MCU 复古自动生成无穷千般的任务确立，遮蔽丰富生态系统、复杂任务方针、天气变化等多种环境变量，旨在全面评估智能体的简直智商与泛化水平。该平台基于高效且功能全面的拓荒器具 MineStudio 构建，复古机动定制环境设定，大规模数据集处理，并内置 VPTs、STEVE-1 等主流 Minecraft 智能体模子，权贵简化评测过程，助力智能体的快速迭代与发展。

张开剩余84%

论文地址：https://arxiv.org/pdf/2310.08367 代码开源：https://github.com/CraftJarvis/MCU 名目主页：https://craftjarvis.github.io/MCU MineStudio：https://github.com/CraftJarvis/MineStudio

🚨灵通宇宙AI，亟需理念念的评测基准！

传统测试基准包含有尺度谜底的任务（如代码、推理、问答），但灵通宇宙任务 Minecraft 有着齐全不同的挑战：

方针灵通千般：任务莫得独一解，计策不错苍狗白衣； 环境景况零散：景况空间近乎无穷，规复简直宇宙复杂度； 长周期任务挑战：关节任务握续数小时，智能体需长期计较。

在这么的环境中，咱们需要的不单是一个评分系统，而是一个维度丰富、结构多元的详细评测框架。

🌌MCU：为灵通宇宙 AI 打造的「全所在试真金不怕火场」

面前已有不少 Minecraft 的测试基准，但它们多量濒临「三大瓶颈」：

任务单一：局限于如挖钻石、制造材料等少数几个场景的周而复始。 脱离现实：部分建模任务以至超出了闲居东谈主类玩家的智商范围。 依赖东谈主工评测：后果低下，导致评测难以规模化推论。

与之前 minecraft 测试基准对比暗示图。

针对以上痛点，MCU 收场了以下三大中枢突破：

一：3,452 个原子任务 × 无穷组合生成，构筑海量任务空间

MCU 构建了一个遮蔽简直玩家行为的超大任务库：

11 大类 × 41 子类任务类型：如挖矿、合成、战争、树立等； 每个任务齐是「原子级粒度」：可寂寥测试限制、计较、推理、创造等智商； 复古 LLM 动态推广任务，比如：用钻石剑打败僵尸、雨天徒手收集木料、

在沙漠中建一座水上屋。

🔁淘气组合这些原子任务，即可生成无穷的新任务，每一个齐对 AI 是全新挑战！

模拟千般化简直宇宙挑战。

二. 任务全自动生成 × 多模态智能评测，阅兵评估后果

GPT-4o 赋能，一句话生成复杂宇宙：

自动生成齐备的任务场景（包括天气、生物群系、运转谈具等）。 智能考证任务确立的可行性，灵验幸免如「用木镐挖掘钻石」这类逻辑失实型任务。

VLM（视觉说话模子）驱动，澈底改变了传统东谈主工打分的低效阵势：

基于 VLM 收场对任务进程、限制计策、材料应用率、实践后果、失实检测及创造性六大维度的智能评分。 模子自动生成安适的评估文本，评分准确率高达 91.5%； 评测后果相较东谈主工擢升 8.1 倍，本钱仅为东谈主工评估的 1/5！

任务生成 x 多模态评测过程图。

三：高难度 × 高开脱度的「试金石」任务筹办，深度锻真金不怕火泛化智商

MCU 复古每个任务的多种难度版块，如：

「白昼在草原击杀羊」VS「夜晚在雨林逃避怪物并击杀羊」； 「丛林里造瀑布」VS「熔岩坑旯旮树立瀑布」。

这不仅考验 AI 是否能完成任务，更深度锻真金不怕火其在复杂多变环境下的泛化与允洽智商。

📉冲破「模子发达细致」的幻象：现存 SOTA 模子能否独霸 MCU ？

咱们将面前领域顶尖的 Minecraft 智能体引入 MCU 进行实战锻真金不怕火：GROOT：视频效法学习代表；STEVE-I：领导实践型限制器；VPT(BC/RL)：基于 YouTube 行为克隆西席而成的前驱。解懒散现，这些智能体在肤浅任务上发达尚可，但在面对组合任务和生分确态度景时，完成率急剧着落，且失实识别与革命尝试是其短板。

SOTA 模子在 MCU 上的测试驱逐。

征询团队引入了更细粒度的任务进程评分目的（Task Progress），辞别于传统 0/1 式的「任务完成率」，它能动态形容智能体在实践过程中的阶段性发达，哪怕任务失败，也能反应其是否在野正确标的鼓动。

实验发现，面前主流模子如 GROOT、STEVE-I、VPT-RL，在原子任务中尚有可圈可点的发达，但一朝面对更具组合性和变化性的任务，其顺利率便会骤降。以至对环境的渺小更正也会导致方案混乱。比如「在房间内睡眠」这个看似肤浅的任务，只是是将床从草地搬到屋内，就让 GROOT 时时误把箱子当床点击，以至回身离开现场——这揭示了现存模子在空间相识与泛化上的显然短板。

更令东谈主警觉的是，智能体在树立、战争类任务中的「创造性得分」与「失实识别智商」简直全面过时。这阐明它们尚未简直具备东谈主类那种「发现问题、鬈曲计策」的自宗旨志，而这恰是通用智能迈向下一个阶段的关节。

MCU 的评测驱逐初度系统性地揭示了面前灵通宇宙智能体在「泛化、允洽与创造」这三大中枢智商上存在的范围开云(中国)kaiyun网页版登录入口开云体育，同期也为改日的征询指明了标的：若何让 AI 不仅能高效完成任务，更能潜入认知雇务的履行，并创造性地管制复杂问题。

发布于：北京市