ショウジョウバエの脳の配線図をそのまま計算素子として言語モデルにつなぐ、FLM（Fly Language Model）という試みが9月11日に公開されました。16万6,700ノードの実測コネクトームを凍結した1.2Bモデルの脇に置き、27万パラメータの読み出し層だけを学習させる構成です。興味深いのは、著者自身が用意した対照実験のほうがわずかに良い成績を出し、ハエの配線に優位性は認められなかったと明言している点です。

ハエの脳を「貯水池」として使う

FLMが採用しているのはリザバーコンピューティングと呼ばれる考え方です。内部の重みを学習させずに固定したまま信号を流し込み、その反響を読み出す側だけを訓練します。GPF（Generative Pre-trained Fly）と名付けられたこの構成で特徴的なのは、固定された重み行列の中身が人工的な乱数ではなく、MaleCNS v1.0として公開されているショウジョウバエ中枢神経系のコネクトームそのものだという点です。

使われたのは16万6,700ノードと2,558万2,938本の有向結合で、行列の値は解剖学的な接触量の計測値を正規化したものです。言語モデル側の2,048次元のトークン埋め込みは固定のガウス射影で128チャネルまで圧縮され、各ノードが1チャネルずつ受け取ります。状態の更新は x = tanh(W(0.6x + 0.4Bc)) という式で、前の状態を6割、新しい入力を4割の比率で混ぜながらハエの配線を1ステップ進める形です。

学習するのは27万パラメータだけ

土台になる言語モデルはLiquid AIのLFM2.5-1.2B-Instructで、11億7,000万パラメータは一切動かしません。訓練されるのはバイアスなしの行列2本（128×128と2,048×128）だけで、合計27万8,528パラメータ、全体の0.024パーセントにあたります。学習に使われたのは64件の会話データと32件の合成例という、ごく小さな規模です。

コードはMITライセンスでGitHubに公開されており、Python 3.12で動きます。ブラウザから試せるデモも用意されていますが、作者自身が小さなモデルなので返答は不完全になりうると注記しています。

0.0222nat改善、しかし対照区がわずかに上

評価は32件の会話、1,236トークンを対象に、1トークンあたりの負の対数尤度（nat）で測られました。値が小さいほど次の単語をよく当てていることを意味します。

凍結したままの土台モデルは1.381995でした。ハエの読み出し層を足すと1.359816（3シードの標準偏差0.000110）まで下がり、0.0222nat分の改善になります。ところが、同じパラメータ数で入力を直接読み出すだけの対照区を用意すると1.359328となり、ハエ版をわずかに上回りました。差は0.000488natで、27・28・29の3シードすべてで対照区が勝っています。

著者の結論は明快です。コネクトームのグラフは予測に確かに影響を与えているが、この評価において単純な対照区を上回るわけではない、というものです。

「効いている」の中身を切り分ける

注目したいのは、効果の有無だけで終わらせず、グラフが何をしているのかを分解しているところです。

重み行列Wをゼロにすると残差は完全に消え、グラフが計算に参加していることが確認されました。一方でノードのラベルを入れ替えると、再学習なしでは性能が崩れます。つまり配線の構造そのものが結果に結びついているわけです。ただし再帰の様子を調べると、初期状態の違いは1トークンごとに0.6倍で縮んでいき、長い文脈を保持する働きはほとんどありませんでした。

ハエ由来の残差が実際に予測トークンを書き換えたのは、全位置のうち1.51パーセント（標準偏差0.047パーセント）にすぎません。影響はあるが支配的ではない、という水準です。

この結果の読み方

生物の神経回路を機械学習に持ち込む研究では、わずかな改善が配線の妙として語られがちです。この試みが価値を持つのは、同じ条件の対照区を自分で走らせ、改善分が構造由来ではないと示したところにあります。土台モデルより良くなったという数字だけを取り出せば、前向きな見出しは簡単に作れたはずです。

もっとも、評価の規模は32件の会話と1,236トークン、シードは3本にとどまります。結論を一般化するには小さく、128チャネルへの圧縮や混合比率といった設定を変えれば別の結果が出る余地も残ります。ハエの配線が言語処理に向かないという話ではなく、この条件では優位を示せなかった、という範囲の報告として読むのが適切でしょう。

まとめ

FLMは、ショウジョウバエの16万6,700ノードのコネクトームを固定の計算素子として言語モデルに接続し、27万パラメータの読み出し層だけを学習させた実験です。土台モデルより0.0222nat改善した一方で、同規模の単純な対照区が0.000488nat上回りました。配線が計算に参加していること自体は確認されたものの、その構造が有利に働いた証拠は得られていません。

※画像はイメージです