OpenAIは、AIが生命科学の研究現場でどこまで役立つかを測るための新しいベンチマーク「LifeSciBench」を公開しました[1]。博士号を持つ研究者が実際の創薬の経験をもとに作成した750の課題で構成され、単なる知識のクイズではなく、証拠の解釈や実験設計といった研究そのものの難しさを評価します。同社の生命科学向けモデル「GPT-Rosalind」が前世代を上回る成績を示した一方、AIがまだ苦手とする領域もはっきりと浮かび上がりました。
LifeSciBenchが測ろうとしているもの
これまでの生命科学向けの評価の多くは、特定の知識を問う形式や、答えがきれいに定まる予測問題に偏っていました[1]。しかし実際の研究は、不完全な証拠を読み解き、矛盾する結果を突き合わせ、難しい実験を設計し、不確実な状況で次の一手を決めるといった作業の積み重ねです。LifeSciBenchは、こうした研究の現実的な複雑さをAIが扱えるかどうかに焦点を当てています。
ベンチマークは750の課題からなり、7つの研究ワークフローと7つの生物学領域にまたがります[1]。ワークフローは、証拠の取り扱い、分析、設計と最適化、科学的推論、検証と運用、橋渡し（基礎から臨床への展開）、科学的コミュニケーションの7分類です。各課題は「詳しい共同研究者への依頼」のような形をとり、科学的な問いと関連資料を与えたうえで、自由記述での回答を求めます。
課題の作りは実際の研究の複雑さを反映しています[1]。全体の79パーセントが複数の推論や判断のステップを要し、1課題あたり平均4ステップに及びます。図表やPDF、配列ファイル、化学構造ファイルなど1,062点の添付資料が用意され、課題の53パーセントは少なくとも1つの資料を読み解いて回答する必要があります。
173人の研究者が作り、453人が検証した
LifeSciBenchの特徴は、専門家が深く関わって作られている点にあります[1]。課題を執筆したのは、博士号レベルの訓練を受け、バイオテクノロジーや製薬業界での実務経験を持つ173人の研究者です。採用された課題は、平均6回の自動レビューと2回以上の専門家レビューを経ており、関連領域の評価者の間で90パーセント以上の合意が得られたものだけが残されました。
採点には、課題ごとに用意された詳細な評価基準（ルーブリック）が使われます[1]。期待される回答を、具体的な科学的主張や計算、判断、根拠へと分解したもので、その総数は19,020項目、1課題あたり平均25項目に達します。最終的な答えが正しいかだけでなく、科学的に妥当で実務に役立つ筋道でその答えにたどり着いているかを見る設計です。
ベンチマークの妥当性は、執筆に関わっていない453人の評価者による独立レビューで確認されました[1]。このうち97パーセントが博士号またはそれに相当する学位を持ち、平均12年の経験と14本の査読付き論文を有します。課題が研究の実態に合っているか、科学的推論を適切に試せているかといった観点で評価され、すべての項目で96パーセントを超える合意が得られています。
最新モデル「GPT-Rosalind」の成績
OpenAIは、生命科学向けモデル「GPT-Rosalind」[2]と前世代の「GPT-5.5」の成績を比較しています[1]。評価指標は2つで、課題ごとの成功基準（達成度70パーセント）を満たした割合を示す「合格率」と、個別の評価項目に部分点を与えた平均値の「スコア」です。全体の正確な合格率では、GPT-5.5の25.7パーセントに対し、GPT-Rosalindは36.1パーセントへと改善しました。
特に伸びが大きかったのは、科学的コミュニケーションと橋渡しの分野です[1]。科学的コミュニケーションの合格率は56.3パーセントから71.1パーセントへ上昇しました。ただしこの分類は課題数が9と少ないため、慎重に見る必要があるとされています。前臨床の証拠を臨床的な意味へつなぐ橋渡しも、36.8パーセントから57.7パーセントへと改善しています。
評価項目の単位で見ると、専門家にとって実際に役立つ出力を求める課題でGPT-Rosalindは44.7パーセント（GPT-5.5は29.1パーセント）、不確実性や注意点の扱いを問う課題で44.8パーセント（同29.3パーセント）を記録しました[1]。証拠の境界がはっきりし、構造化された科学的判断を求める場面ほど、AIが力を発揮しやすい傾向がうかがえます。
まだ苦手な領域と残された課題
一方で、資料の読み込みが多い課題や、設計を伴う課題ではAIの弱さが目立ちます[1]。設計・最適化・予測のワークフローはGPT-Rosalindでも合格率30.7パーセント、分析も30.3パーセントにとどまりました。図表や配列ファイルなどの資料が絡むと成績は落ち込み、テキストのみの課題の45.1パーセントから、資料付きの課題では28.1パーセントへと低下します。
回答の形式によっても差が出ます[1]。正確な数値を求める課題ではGPT-Rosalindは14.8パーセント、配列や構造の出力では24.0パーセントにとどまりました。CRISPRの設計などでは、そのまま使えるほど正確な出力が必要になるため、この弱さは研究上の意味が大きいと位置づけられています。
OpenAI自身も成果の範囲を慎重に区切っています[1]。LifeSciBenchは繰り返し仮説を立て直しながら進む実際の研究を完全には再現できず、高い成績はあくまで課題単位の能力を示すものだとしています。次の段階として、実際の研究現場でAIが発見を加速できるかを検証する取り組みを挙げました。なお、これらのベンチマークはOpenAI自身が設計したもので、外部の専門家が採点に関与するとはいえ、第三者によって再現された結果ではない点には留意が必要です[3]。
まとめ
LifeSciBenchは、AIが生命科学の研究にどこまで役立つかを、専門家が作った750の課題で測る新しいベンチマークです[1]。GPT-Rosalindは全体の合格率を25.7パーセントから36.1パーセントへ伸ばし、科学的コミュニケーションや橋渡しで特に進歩を示しました[2]。一方で資料の読み込みや正確な設計はなお苦手で、絶対的な合格率も決して高くはありません。AIが研究のパートナーになりつつある現状と、その限界の両方を映し出す指標と言えるでしょう。
出典:https://openai.com/index/introducing-life-sci-bench
