OpenAIが9月11日、自律型ソフトウェアエンジニア「Devin」を手がけるCognitionの事例を公開しました[1]。GPT-6 Astraを組み込んだDevinは、自分が書いたコードを自分でテストし、実行の様子を収めた動画と、どこを確認してどこが未検証かを示すレポートまで添えて返します。狙いは、人間が目視するコードの量を減らすことです。
書いた本人にテストまでやらせる
Cognitionは、大手銀行からテック系スタートアップまで幅広い企業が使うDevinの開発元です。同社のエンジニアリングチームは書くコードの量が増えるにつれ、それをレビューする作業そのものが負担になってきたと説明しています[1]。生成が速くなるほど、確認が追いつかなくなるという構図です。
そこで注目したのがGPT-6 Astraの性質でした。同社の共同創業者であるWalden Yan氏は、Astraが大きく改善した点として、自分の成果物をテストし、期待どおりに動くことを証明する能力を挙げています[1]。コードを書く速さではなく、書いたものが動く根拠を自分で用意できるかどうかに価値を置いた見方です。
動くところを録画し、未検証の範囲まで申告する
実際の使われ方として紹介されているのが、iPhone向けゲーム「Otter Run」のテストです。DevinはAstraを使ってこのゲームを検証し、シミュレーター上で動作している様子を録画した映像と、通過したチェック項目および手つかずのまま残った領域を書き出したレポートを返します[1]。
この2点セットには役割の違いがあります。録画はアプリが実際にどう振る舞ったかを見せ、レポートはテストがどこまでの範囲をカバーしたかを文章で示します。エンジニアはその両方を突き合わせることで、コードを一行ずつ追わなくても、動作の実態と残りの確認事項を把握できるという理屈です[1]。
効果は開発工程だけにとどまりません。顧客から不具合のスクリーンショットが届いた場合、それをそのままAstra経由でDevinに渡すと、修正した結果のスクリーンショットが返ってきます。Yan氏は、この流れによって顧客への回答がかなり速くなったと述べています[1]。
Devin本体、CLI、デスクトップに横断で投入
CognitionはAstraを製品ライン全体に広げています。中核であるクラウド版のエージェントに加えて、CLIとデスクトップ製品でも改善に使っているとのことです[1]。同社の告知によれば、Devin DesktopとDevin CLIではAstraがすでに利用可能で、Devin Cloudでは複数モデルを組み合わせる構成の一部として動いています[2]。
自社ベンチマークの数字も公開されています。実際のエンジニアリング業務を品質とマージのしやすさで採点する「FrontierCode 1.1」において、GPT-6 Astraは64.5点を記録しました。これはClaude Fable 5.1の63.6点を上回り、首位のClaude Fable 5（64.9点）とは0.4点差という位置づけです。しかもコストは64パーセント低いとされています[2]。
さらにCognitionは、Devinのテスト機能を動かす用途に限れば、Astraが自社の内部テスト用ベンチマークで最高水準に達したとしています。生成されるテストがより網羅的になり、レポートは読みやすく、動画による証跡も扱いやすくなったという評価です[2]。
レビューの形が変わるかどうか
Cognitionが見据えているのは、レビュー工程そのものの作り替えです。Devinが自分でテストし、その結果を証拠として提出できるようになれば、エンジニアはコードを手作業で読み込む量を減らしたまま変更内容を評価できるようになります[1]。Yan氏も、時間の経過とともに手で見るコードは減り、最終的に出荷できる量は増えるはずだと期待を述べています[1]。
もっとも、これは証跡の質にそのまま依存する話でもあります。テストの網羅性が足りなければ、動画とレポートは「確認した気になる材料」に変わってしまいます。未検証の領域を自己申告する設計になっているのは、その落とし穴を意識した作りだと読めます。実務でどこまで信用を置けるかは、これから使う側が測っていくことになります。
まとめ
CognitionはDevinのテスト機能にGPT-6 Astraを組み込み、実行時の録画と検証範囲を示すレポートをセットで返す形に変えました。FrontierCode 1.1ではClaude Fable 5に0.4点差まで迫りつつコストは64パーセント低く、内部のテスト用ベンチマークでは最高水準に達したとされています。コードを書く速さが頭打ちになりにくい一方で、確認作業が詰まりやすくなっている現状に対し、証拠を出す側をモデルに任せるという解き方を示した事例です。
[1] 出典：https://openai.com/index/cognition-devin-testing-with-astra
