fMRI情報から思考中の名詞をデコードする

このエントリは以前にミスって消してしまったエントリです。脳科学の研究についてのエントリーでした。Googleキャッシュを元に復元しました。ちなみに誤ってエントリを消したあとに、別のブログでこの研究について書かれているのを見つけました。プロの方々の視点をこちらでご確認ください。私の書いてる内容は怪しいです。

名詞の「意味」モデルを用いて脳活動を予測する。 - potasiumchの日記
ヒト脳活動から提示された名詞の意味をデコードする - 大「脳」洋航海記

内容

5/30日発売のScienceにて、fMRIの画像から、被験者が今何の画像を見てるかを予想する、という実験が発表された。


簡単に言えば Brain reader 脳読みの研究。

もうちょっと具体的に言うと「被験者は今、飛行機を見てる」とか「被験者は今、ニンジンを見てる」とかを、fMRIの画像からコンピューターが自動で解答する、というもの。

実験の手順は以下の通り。
被験者にまず59枚の画像を見せて、その時の脳のfMRI画像を記録する。そして最後に1001枚の画像の中から一枚の画像を見せて、fMRI情報から、被験者が今見ている画像の内容を「飛行機だ」とか「ニンジンだ」とか、コンピュータが予想するというもの。なんとこれで的中率が70%ほどもあるとのこと(ほんとうか?私は何か勘違いをしてるかもしれません)。

イデア 名詞を動詞で分解

実はコンピューターは被験者のfMRI画像を処理する以前に、膨大な量の事前情報を仕入れて事に望んでいます。それは自然言語における名詞と動詞のある種の関係。
つまり、一兆語程から成る莫大なテキスト・データから、特定の名詞と特定の動詞がどれぐらい強く結びついてるか(つまりどれぐらいの確率で一緒に出てくるか)をデータとして算出し、これをコンピューターが事前情報として保存しています。

このデータ取りの作業は、名詞を動詞のベクトルで分解して定義するようなイメージです。

つまり例えば「馬」という名詞であれば

「馬」 = 0.961*「乗る」 + 0.128*「走る」+ 0.123*「見る」 + .....

という感じで、関連の深い動詞の一次結合でデータ化される。また「スカート」なら

「スカート」 = 0.734*「破れる」 + 0.520*「着る」 + 0.311*「持ち上げる」 + .....

などとなります。この動詞の前に現われる係数が、テキストデータの分析から決定されています。

で、ごく簡単にデコードの考え方を説明すると(実際は計算には技巧的な部分が多数含まれているようです。私はよくわかりません。)
名詞のベクトルをNとして、動詞のベクトルをVとしたとき、係数行列をWとして

N = W・V

で、ここから、いくつかのfMRI画像を名詞 N の方に対応させれば、

W^-1・N = V

で、Vに対応するfMRIデータを用意できることになります。

あとはこのVを、テキストデータから取った係数で足し合わせてやれば、様々な名詞に対応するfMRI画像が予想されることになります。下は名詞「セロリ」に対するそうした予測fMRI画像。

ここまで来れば、あとは計測されたfMRI画像と予想fMRI画像との距離を測って一番近い名詞を選択すれば終わり。

感想1

方法が単純なのに的中率が驚くほど高い。脳は複雑だ、複雑だ、と言われるけど、こういう単純な方法でも上手くいくのであれば、工学的にとても面白い。またこういう形でアフォーダンスの概念が出てくるというのも面白い(名詞を動詞の集まりで定義するところ)。

感想2

哲学の分野ではいつも言葉の定義の問題でもめる。だのでこうした実験の延長から人間の脳が各概念に対し、実際どれほどの定義を持っているのかについてもっと具体的な情報が得られれば、哲学的問題のかなりの部分は消滅してくれるだろうと思う。

  • 哲学的問題の多くは言語の誤った使用によって生ずる。

論文

"Predicting Human Brain Activity Associated with the Meanings of Nouns"
Tom M. Mitchell, Svetlana V. Shinkareva, Andrew Carlson, Kai-Min Chang, Vicente L. Malave, Robert A. Mason, Marcel Adam Just
Science 30 May 2008. Vol. 320. no. 5880, pp. 1191 - 1195. DOI: 10.1126/science.1152876