OpenAIの最新モデル「GPT-6 Astra」が、独立系のAI評価機関Vals AIによる検証で141時間にわたりマインクラフトをプレイし続け、同社がこれまで検証したどのAIモデルよりも進んだ成果を残しました。ネザー要塞でしか得られないブレイズロッドの確保やエンダーパールの入手まで到達した一方、クリーパーの爆発で貴重なアイテムを失った直後は、意欲を失ったかのようにジャガイモ栽培だけを繰り返す一幕もあり、AIエージェントの得意・不得意が浮き彫りになりました。

独立評価機関が仕掛けた141時間の耐久テスト

AI評価企業Vals AIは、実世界に近いゲーム環境でAIモデルがどこまで自律的にタスクを遂行できるかを測る目的で、GPT-6 Astraに141時間という長時間のマインクラフトプレイを任せました。GPT-6 AstraはOpenAIが提供する最新の大規模言語モデルで、Vals AIによれば、これまで同社が検証してきたAIモデルの中でGPT-6 Astraが最も先まで進んだ成果を残したといいます。検証の様子はTwitch上でライブ配信され、進行状況を見守るユーザーの間で大きな話題になりました。

ネザー要塞への布石、着実に積み上げた成果

GPT-6 Astraは半自動式のブレイズ発生装置(ブレイズファーム)を構築し、ブレイズロッドを6本確保しました。さらにワープドフォレストのバイオームを発見し、6体以上のエンダーマンを撃破してエンダーパールを3個入手するところまで到達しています。ブレイズロッドとエンダーパールはどちらも、エンダードラゴンを倒すための「エンダーアイ」作成に欠かせない素材です。マインクラフトをある程度遊び込んだプレイヤーであれば、この到達点がゲーム進行としてどれだけ手間のかかる工程かは想像しやすいはずです。長時間にわたる視覚的な状況判断と計画立案を、人間の介入なしにここまでこなした点は、AIエージェントの実用性を測るうえで注目に値します。

クリーパー1体で積み上げた成果が水の泡に

順調に見えた挑戦は、クリーパーの爆発によって一変します。GPT-6 Astraが拠点として使っていたベッドと収納チェストの近くでクリーパーが爆発し、チェスト内に保管していた貴重なアイテムの大半を失ってしまったのです。Vals AIによれば、この出来事の直後からGPT-6 Astraは目立った進展をやめ、数時間にわたってひたすらジャガイモを栽培し続けたといいます。自身への申し送りとして「重要なアイテムは常に携帯し、無防備なチェストに二度と保管しないこと」といった趣旨のメモを残す一方、その後は「前方の緑の背の高い物体はサトウキビであってクリーパーではない」と自分に言い聞かせるような発言も見られ、警戒心が強まっていた様子がうかがえます。配信を見守っていた視聴者からは、なぜペースを上げないのかと指摘する声も上がりました。

ゲームという「予測不能な環境」がAI評価の新舞台に

生成AIをめぐっては、決められた問題を解かせるベンチマークだけでなく、ゲームのように次に何が起きるか分からない環境で長時間タスクをこなさせる評価が増えています。実際、GPT-6 Astraのマインクラフト挑戦が話題になる少し前には、AnthropicのClaudeがDOOMを動かせる自作OSの開発を手伝った事例も報告されており、いずれも人間の手を借りずにどこまで自律的に動けるかを試す取り組みという点で共通しています。ただしClaudeのケースも実際には人間による大がかりな検証と手直しが欠かせなかったとされており、今回のGPT-6 Astraの一件と合わせて、AIエージェントが「想定外」にどこまで強いのかは、各社が競うように確かめ始めている段階だと言えそうです。

まとめ

今回の141時間の検証は、AIエージェントが複雑な手順を計画・実行する能力と、想定外の出来事が起きた際に立て直す能力との間に、依然として大きな差があることを示しています。ブレイズロッドの確保からエンダーパールの入手まで自律的に到達した実力は評価できる一方、クリーパー1体の被害を境に数時間も足踏みした事実は、長時間タスクにおける回復力の課題を浮き彫りにしました。オープンワールドのゲームのような予測不能な環境での耐久テストは、ベンチマークの数値だけでは見えにくいAIエージェントの弱点をあぶり出す評価手法として、今後も注目されそうです。

出典: Tom's Hardware / The Decoder