OpenAI最新模型GPT-6 Astra在独立评测机构Vals AI组织的测试中,连续游玩《我的世界》长达141小时,取得了该机构此前测试过的所有AI模型中最远的进展。它成功收集到了只能在下界要塞取得的烈焰棒,还拿到了末影珍珠,但一次苦力怕爆炸摧毁了它存放贵重物品的箱子后,模型似乎失去了干劲,此后数小时几乎只顾着种土豆,这一幕同时展现了AI智能体的强项与短板。

独立评测机构设下的141小时耐力测试

AI评测公司Vals AI希望测试AI模型在贴近真实世界的游戏环境中能自主完成任务到什么程度,于是让GPT-6 Astra挑战了长达141小时的《我的世界》马拉松式游玩。GPT-6 Astra是OpenAI推出的最新大语言模型,据Vals AI介绍,在该公司此前评测过的所有AI模型里,GPT-6 Astra取得的进展最为深入。整场测试在Twitch平台进行了直播,吸引了大量关注。

稳步推进,直指下界要塞

GPT-6 Astra搭建了一座半自动烈焰农场,收集到6根烈焰棒,还发现了扭曲森林生物群系,击败了6只以上的末影人,拿到了3颗末影珍珠。烈焰棒和末影珍珠都是合成末影之眼的必需材料,而末影之眼正是击败末影龙的关键道具,对《我的世界》有一定游玩经验的玩家都清楚,达成这一步需要花费多少心思。在没有人类介入的情况下,长时间完成需要视觉判断与规划能力的任务,这对衡量AI智能体的实用性而言颇具参考价值。

一只苦力怕,让此前的成果化为乌有

原本进展顺利的挑战,因一次苦力怕爆炸而急转直下。GPT-6 Astra用作基地的床和储物箱附近发生了苦力怕爆炸,箱子里存放的大部分贵重物品因此损失殆尽。据Vals AI介绍,这次事故后,GPT-6 Astra不再有明显的进展,此后数小时里几乎只是不停地种土豆。它给自己留下了类似“重要物品要随身携带,不要再存放在无人看守的箱子里”的备忘,之后又出现了“前方那个绿色的高大物体是甘蔗,不是苦力怕”这样自我安慰式的发言,可见其警惕心明显增强。观看直播的观众也纷纷提出疑问,为什么不加快进度。

游戏正成为AI智能体评测的新战场

在生成式AI领域,除了固定题目的基准测试外,让模型在开放世界游戏这类难以预测的环境中完成长时间任务的评测方式正变得越来越常见。就在GPT-6 Astra的《我的世界》挑战成为话题之前不久,据报道Anthropic的Claude也曾协助搭建了一套能够运行DOOM游戏的操作系统,同样是在尝试探索AI在最少人工干预下能做到什么程度。不过据称那个项目实际上也少不了大量人工测试与调试。结合这两个案例来看,各家公司似乎才刚刚开始摸索AI智能体在面对意外状况时究竟有多强的应变能力。

总结

这次141小时的测试表明,AI智能体在规划执行复杂多步任务的能力,与突发状况后恢复的能力之间,依然存在明显差距。GPT-6 Astra能够自主完成从收集烈焰棒到拿到末影珍珠的一系列进展,这份实力值得肯定,但一只苦力怕就能让它停滞数小时的事实,也暴露出长时间任务中恢复能力的短板。像开放世界游戏这样充满不确定性的环境,或许会成为一种有效的评测手段,揭示出常规基准测试难以发现的AI智能体弱点。

来源: Tom's Hardware / The Decoder