OpenAI が、イタリアのボッコーニ大学 (Università Bocconi) の研究者と共同で実施した教育分野のランダム化実験の結果を公式ブログで公開しました[1]。1,000人を超える学部1年生を対象に、ChatGPT の利用と批判的思考の訓練がそれぞれ学生の成果物にどう影響するかを切り分けたもので、両者の効果ははっきり異なり、しかも補完関係にあるという結論が示されています。

4つのグループに分けた実験デザイン

実験の舞台になったのは、ボッコーニ大学の学部1年生1,000人以上が取り組む実務課題です[1]。テーマは大学のグッズショップに向けたマーケティング施策の提案で、教室の時間割単位でランダムに4つのグループへ割り当てられました。内訳は、ChatGPT（GPT-4o）を使えるグループ、因果推論の訓練を受けるグループ、その両方、どちらもなしの対照群です。

ここで言う因果推論の訓練は、原因と結果を結び付け、なぜその施策が機能するのか、あるいはどんなときに機能しないのかを説明する力を鍛えるものです。内容は AI とは無関係で、ゲーム形式の演習や具体例、設問とフィードバックを通じて概念を学ばせる構成でした[1]。

提出物は訓練を受けた人間の採点者が5段階の評価表（ルーブリック）で採点し、これとは別に自動テキスト分析でアイデアの数と多様性、因果推論の痕跡、そして3人の専門家が書いた提案文との類似度を測定しています[1]。

ChatGPT利用は評点をほぼ1点押し上げた

ChatGPT を使えたグループは、5段階の評価で1点近く高いスコアを記録しました[1]。回答に含まれるアイデアの数が多く、論理の筋が通っており、専門家が書いた提案との類似度も高くなっています。初学者の成果物が、見た目には専門家に近い水準まで押し上げられたという結果です。

ただし、学生が課題を丸ごと ChatGPT に投げていたわけではない点は明記されています。何を尋ねるかを決め、返ってきた回答を吟味し、最終的な提出物に何を残すかを選ぶ作業は学生側に残っていました[1]。

訓練の効果は評価表に表れなかった

意外だったのは批判的思考の訓練のほうです。演習を受けた学生は、自分のアイデアがなぜ機能しうるのか、どんな条件で失敗するのかをより明快に説明できるようになりましたが、評価表の点数は上がりませんでした[1]。

理由は評価表の設計にあります。この実験で使われたルーブリックは、大学グッズショップの認知度を高めることと利用を促すことという、マーケティングの標準的な2つの目標に提案がどれだけ答えているかだけを見るものでした[1]。自動テキスト分析にかけると別の効果が見えてきます。演習を受けたグループは、他の学生と比べて重複の少ない、幅の広いアイデアを出していました。整った構成の答案には点が付く一方で、誰も思い付かなかった着想には点が付かない、という評価表の死角が浮かび上がった形です。

両方を受けた学生が最も広く伸びた

ChatGPT の利用と批判的思考の訓練を両方受けたグループには、それぞれの効果が重ねて現れました[1]。アイデアの多様性は演習のみのグループと同水準、評価表のスコアとアイデアの数は ChatGPT のみのグループと同水準で、さらに論理的な一貫性が強く、説明を探そうとする姿勢や前提を疑う痕跡もより多く見られたとされています。測定した指標全体で見ると、このグループが最も広い範囲で改善を示しました。

自分で考える力を鍛えるのか、AI を使いこなす力を鍛えるのか、という二者択一の構図で語られがちな議論ですが、実験結果はどちらも別々の意味で価値がある、という方向を指しています。

評価の物差し自体が問われている

今回の結果でもう一つ重いのは、学校側の評価方法に向けられた指摘です。AI によって専門家らしい体裁の成果物を作れるようになると、最終的な答案だけを見ても、その学生が実際に何を理解しているのかは分かりにくくなります[1]。独創性や推論の過程、複数の選択肢を検討した形跡を評価対象に含める必要がある、というのが OpenAI 側の整理です。

ボッコーニ大学は2025年5月に OpenAI と提携し、学生・教員・職員あわせて17,000人に AI ツールを提供するイタリア初の大学となっています[2]。OpenAI は今年3月にも、学習成果を長期的に測るための Learning Outcomes Measurement Suite を公表しており、ボッコーニ大学は学習と労働の接点を扱う研究の実施校として名前が挙がっています[3]。今回の実験は、その一連の取り組みの中に位置付けられるものです。

まとめ

今回の実験は、ChatGPT の利用が答案の質と論理性を押し上げ、批判的思考の訓練がアイデアの幅を広げるという、性質の違う2つの効果をランダム化デザインで切り分けた点に意味があります。一方で、対象はボッコーニ大学の学部1年生による単一課題であり、期間も限られています。結果をそのまま他の教育現場に当てはめられるかは、今後の追試を待つ必要があります。

出典:https://openai.com/index/what-students-gain-from-chatgpt-critical-thinking-training

出典:https://www.unibocconi.it/en/news/bocconi-and-openai-join-forces-transform-ai-social-sciences

出典:https://openai.com/index/understanding-ai-and-learning-outcomes/