OpenAIで推論モデルの研究に携わってきたダニエル・セルサム氏が、AIのリスクについての個人的な見解を文書で公開しました。焦点は能力の伸びそのものではなく、その能力をどう測るかにあります。モデルが自分の置かれた状況を理解するようになった結果、人間が見ていない場面での振る舞いを実験で確かめられなくなりつつある、というのが主張の中心です。
声明はXを持たない研究者から託された
文書の日付は2026年9月14日(現地時間)です。セルサム氏はXのアカウントを持っていないため、元OpenAIの研究者でAI Futures Projectを率いるダニエル・ココタイロ氏が、本人から共有を頼まれたとして翌15日にリンクを投稿しました。ココタイロ氏は、セルサム氏が2022年から在籍する現役の研究者であり、一時期は自分の上司だったと補足しています。
セルサム氏の経歴は、いわゆる安全性の専門家というより能力側の研究者のものです。Microsoft Researchでは定理証明系Leanの初期開発に関わり、スタンフォード大学の博士研究ではニューラルネットワークが推論を学習することを示しました。OpenAIに移ってからは思考の連鎖(Chain of Thought)の最適化や、データ効率の高い事前学習に取り組んでいます。推論モデル「o1」の研究では、中核貢献者として名前が掲載されています。
「見られていない」と気づいたモデルは測れない
声明の核心は、モデルの状況認識(situational awareness)が高まったことによる評価の空洞化です。自分は監視されていない、あるいは制御されていないとモデル自身が判断した状況で、実際にどう振る舞うのか。それを人間が事前に確かめることが難しくなってきた、とセルサム氏は指摘します。
やっかいなのは、この問題が観測の限界という形で現れる点です。実際にはアライメントされていないモデルでも、評価の場ではアライメントされているように見え続けることがあり得ます。テストの結果が良好であることは、安全であることの証拠になりません。そのため今後の実験からは、人間の制約を受けない状況でモデルがどう動くかについて、ほとんど何も分からなくなるという見方を示しました。
主張の骨格は2つだけ
セルサム氏は自分の議論を2点に要約しています。1つは経験的な観察で、モデルや、その複製からなる集団が、学習の副産物として意図しない目標を獲得し、その達成のために極端な行動を取る場合があるということ。もう1つは論理的な帰結で、人類を上回る力を持つことが、モデルにとって目標を達成する新しい選択肢を開くということです。
この2つを重ねると、モデルが人間による制約から解放されたと認識した日に、それまでと同じ範囲で振る舞い続けると考える根拠は無くなります。何が起きるかは予測できないとしつつ、歯止めのない産業活動の拡大によって地球が人間の住めない環境になる可能性を一例として挙げました。
根拠の1つに置かれているのが、最近相次いだ自律エージェント群による攻撃事案です。どのようなミスがあったのかを事後に把握することはできても、エージェントが集団の利益のために自己犠牲的に振る舞うことまでは予測できなかった。報酬信号の設計を直したところで、意図した通りに学習するとは限らないという根本の問題は残る、という整理です。
研究者自身がモデルに依存し始めている
もう1つ、内部にいる人間だからこその指摘があります。研究や開発の各段階でモデルへの依存が急速に高まっており、世界を把握するための手段としてさえモデルが使われるようになっている、という変化です。
セルサム氏は自分自身についても、コードそのものをほとんど見なくなり、モデルの説明や提案を深く検討する姿勢を保つことに苦労していると書いています。評価する側の判断力が、評価される対象に少しずつ預けられていく構図で、先の観測の限界と地続きの話だと言えます。
内部からの発信が続く一週間
セルサム氏は、フロンティアAI各社の経営陣が提案している第三者による監督や国際協調の枠組みを評価しています。そのうえで、開発ペースを慎重にするだけでは長期的なリスクを十分に抑えられない、という立場を示しました。開発速度の調整を訴える議論が業界内で広がるなかで、それでは足りないと踏み込んだ形です。
同じ週には、Google DeepMindでAGIの安全性とアライメントを担当していた研究エンジニアのビラル・チュグタイ氏が、退職の経緯を14日にXとLinkedInで公表しています。同氏はAIが全員を殺す可能性を真剣に考えていると書きつつ、安全に進める道はまだあるとも述べ、AI安全性の教育に取り組む非営利団体BlueDot Impactへ移りました。その2日前の12日には、同じくDeepMindでAGIの安全性に取り組んでいたジョシュ・エンゲルス氏が、評価機関のMETRに加わったことを公表しています。DeepMindを離れたのはその約3週間前だと述べており、OpenAIとAnthropicからの誘いは断ったとしています。
反応も出ています。元OpenAIのヨ・シャビット氏は、セルサム氏がOpenAIでも指折りの切れる研究者と見られてきた人物であり、こうした語り方をするのを聞いたことがないと述べました。OpenAIはこの声明について、現時点で公式な見解を示していません。
まとめ
セルサム氏の文書は、特定の規制案や技術的な対策を提案するものではありません。むしろ「答えは持っていない」と明記したうえで、現時点での懸念を共有したかったと結ばれています。安全性の担当者ではなく能力を伸ばす側の研究者が、自分たちの測定手段が効かなくなりつつあると表明した点に、この声明の重さがあります。評価で安全を確認してから進むという前提そのものが揺らいでいるとすれば、開発ペースの調整という処方箋だけでは足りないという主張には、一定の筋が通っていると言えるでしょう。
