自動運転車が何もない道路で急に減速したとき、その理由を乗っている人が知る手立てはほとんどありません。自動運転技術のMotionalとMITの研究チームは、車載ニューラルネットワークの内部状態を人間が読める言葉に翻訳し、走行中にリアルタイムで示す仕組みを開発しました。研究成果はNatureに掲載され、ラスベガス周辺の公道を含む実車走行で検証されています。

ブラックボックスを言葉に置き換える

開発された手法はConcept-Wrapper Network、略してCW-Netと呼ばれます。近年の自動運転システムは大量の走行データで学習したニューラルネットワークに依存する度合いが高まっていますが、そのネットワークは判断の根拠を外に出しません。技術者がブラックボックスと呼ぶ状態です。

CW-Netはこの内部の計算を、「停止車両に接近」「自転車に近い」といった人間が理解できる概念に変換します。Motionalによれば、これらの概念は運転席のディスプレイに表示でき、いまどの概念が運転の判断に影響しているかを走行中に確認できるようになります。

重要なのは、この説明が後付けの推測ではない点です。車両の最終的な意思決定は、この人間可読な概念そのものを入力として下されます。つまりブレーキが踏まれたなら、それを引き起こした概念を必ず特定できます。Motionalはこれを因果的に忠実な説明と位置づけ、自然な文章で説明を生成する手法と区別しています。文章による説明はもっともらしく読めても、実際の内部処理と一致しているとは限らないためです。

パイロンの前で止まり続けた理由

説明可能なAIの研究の多くは、シミュレーション環境の中で完結してきました。今回のチームはCW-Netを実際の自動運転車に載せ、安全運転員を運転席に乗せた状態で専用テストコースとラスベガス周辺の公道を走らせています。検証には、性能は競争力があるものの弱点も残る初期の実験的な深層学習プランナーが使われました。

分かりやすい例が2つ報告されています。1つ目は、車両が交通用のパイロンの近くで繰り返し停止した事象です。運転員はパイロンそのものが原因だと考えましたが、パイロンを取り除いても車は止まりました。CW-Netの表示が示した本当の原因は、実験的なプランナーが前方に存在しない停止車両を幻視していたことでした。学習データに由来するパターンだと突き止められ、原因の理解と再現の予測、そして解消までつながっています。

2つ目は自転車に関するものです。車両は自転車を検知して想定どおり停止しましたが、CW-Netを見ると、実験的なプランナーは自転車の存在を根拠に判断していませんでした。これに気づいた安全運転員は自転車の周辺でより慎重な運転を心がけるようになります。事後の解析でもその判断は妥当で、このときの制動は本来のプランナーではなく安全用のバックアップ系統が働いた結果でした。

説明を足しても走行性能はほぼ落ちない

AIシステムに説明の層を重ねると、速度や性能が犠牲になるのが一般的です。Motionalもその懸念は認めています。ただ、CW-Netを主要な自動運転アルゴリズムと比較したベンチマークでは、走行能力の差は1パーセント未満に収まりました。

この数字は学術的な意味以上に、現場での使い勝手に効いてきます。停止の原因が幻視された車両にあるのか、それとも主系統ではなくバックアップ系統が動いた結果なのかを運転員がその場で見分けられれば、報告の精度が上がります。開発チームが不具合を切り分ける速さも変わりますし、意図した挙動と故障を区別できることは、運用の安心感に直結します。

MotionalのCEOであるLaura Major氏は、端から端まで深層学習に任せる方式だけでは限界があると述べています。同氏によれば、その方式でも80から90パーセント、場合によっては95パーセントの水準までは到達できるものの、運転手を降ろしたり、都市や地域社会、利用者の信頼を得たりするには足りないとしています。

規制対応の道具になる可能性

自動運転が新しい市場や法域へ広がるにつれ、事業者への圧力も強まっています。規制当局はAIシステムがどう判断に至ったのかについて、より詳しい説明を求める傾向にあります。MotionalはCW-Netのような道具が研究段階を抜けて、いずれ満たすべき最低要件になり得ると見ています。

対象は乗用車に限りません。自律飛行するドローンや、ロボットによる外科手術も、安全性が問われる領域として挙げられています。いずれも運用者と開発者が、システムの能力と限界、そして想定外の挙動を把握する手段を必要とする分野です。

まとめ

CW-Netは、自動運転の判断を人が読める概念に翻訳し、その概念自体を意思決定の入力にすることで、説明と実際の挙動を切り離さない設計になっています。公道走行では、幻視された停止車両や、想定と違う根拠で下されていた停止判断といった問題を実際に表に出しました。走行性能の低下は1パーセント未満にとどまり、説明可能性は性能とのトレードオフだという前提そのものが揺らぎつつあります。自動運転の議論が精度や走行距離から信頼の設計へ移っていく中で、判断の理由を外に出せるかどうかが、実用化の分かれ目になりそうです。