img-thumbnail

sn42

R&D Job in Japan.

Topics
My Twitter

[論文紹介] LSTMで脳のダイナミクスを捉える

最終更新日: 2020年6月21日

今回は『Capturing brain dynamics: latent spatiotemporal patterns predict stimuli and individual differences』という論文の紹介をしたいと思います。

emoji-pushpin この論文はプレプリントであり、ピアレビューによる保証はありません (2020/07/11)

Link

論文： bioRxiv Link
コード： GitHub Link

Abstract

  • 自然な映画鑑賞fMRIデータを用いて、被験者間に共通する脳活動の時空間パターンを分類します。
  • Long Short-Term Memory (LSTM) を用いた場合に、SOTA (87.35%)。
  • 次元削減・顕著性マップを用いて一貫した時空間パターンを視覚化しました。

Introduction

脳活動が時空間的なダイナミクスを生じうる場合、時空間な情報を効果的にキャプチャする必要があります。そのためには、静的な情報と動的な情報を特徴づける "signature" を考えることが重要です。

この研究では、以下の３つの疑問に対処しています。

  1. 映画のような動的な刺激による時空間パターンは普遍的に存在するのか？どこにあるのか？
  2. 高次元と低次元の両方で精度を算出できるか？
  3. 時空間パターンは、個人の行動志向や性格を捉えているのか？

Methods

データセット

  • Human Connectome Project (HCP) の 映画鑑賞中fMRIデータ
  • 15個のクリップを1回ずつ呈示
  • TR = 1 s
  • N = 176 人
  • 300-ROI Paracellation で ROI レベル分析 (Yeo et al. 2011)

Long Short-Term Memory (LSTM)

LSTMは、短期間の時系列情報を利用する深層学習モデルです。以下の更新式によって出力hth_tを計算していきます。

[itftotc^t]=[σσσtanh⁡]([Wih,WixWfh,WfxWoh,WoxWc^h,Wc^x][ht−1xt]+[bibfbobc^]) ct=ft⊙ct−1+it⊙c^tht=ot⊙tanh⁡(ct)\begin{bmatrix} i_t \\ f_t \\ o_t \\ \hat{c}_t \end{bmatrix} = \begin{bmatrix} \sigma \\ \sigma \\ \sigma \\ \tanh \end{bmatrix} \left( \begin{bmatrix} W_{ih}, & W_{ix} \\ W_{fh}, & W_{fx} \\ W_{oh}, & W_{ox} \\ W_{\hat{c}h}, & W_{\hat{c}x} \end{bmatrix} \begin{bmatrix} h_{t-1} \\ x_t \end{bmatrix} + \begin{bmatrix} b_i \\ b_f \\ b_o \\ b_{\hat{c}} \end{bmatrix} \right) \\ \ \\ c_t = f_t \odot c_{t-1} + i_t \odot \hat{c}_t \\ h_t = o_t \odot \tanh(c_t)

各出力 hth_t を結合層(FC)に入力して予測 yty_t を計算します。今回は、クリップのラベルを予測します。

yt=tanh⁡(Wyhht+by)y_t = \tanh(W_{yh}h_t+b_y)

figure1.jpg

図１ LSTMモデル（Manasij et al. (2020) より引用）

100人がトレーニング、残りの76人がテストに使用されました。10分割交差検証でハイパーパラメータが最適化されました。（最適な隠れ層サイズは150となりました。）

LSTMベースの次元削減

LSTMを用いた時系列データの非線形教師あり次元削減手法が提案されています。

LSTMの出力 hth_t と分類のための結合層 (FC) との間に、次元削減結合層 (DR-FC) を挿入して学習することで、低次元の表現を取得します。

これは、PCAの線形教師なし次元削減と比較しました。

その他

  • LSTMで得た低次元表現から元の入力を予測するデコーダーを別に立てました。
  • ROIごとに入力に対するクラススコアの勾配を計算し、顕著性マップを作りました。
  • ベースラインとして、シンプルなニューラルネットモデル (FF classifier) と、時系列畳み込みニューラルネットモデル (TCN) を立てました。
  • LSTMで、行動志向と性格に対する予測も学習させました。

Results

LSTMの分類精度が最も高く、15クリップの分類で87.35%となっていました（図２A）。真陽性率も、最初の30秒以降は安定して高精度でした（図２B）。

figure2.jpg

図２ 分類精度 （Manasij et al. (2020) より引用）

時空間パターンが時系列にわたって分散していて、長期的な依存関係を捉えることができるLSTMによって精度が最も高くなると判明しました。

ウエーブストラッピングによって時系列順序を入れ替えたところ、精度は大幅に低下しました (64.29%)。

低次元表現

DR-FC層で３次元空間に投射すると、クリップごとに軌跡がみられました（図３A）。また、PCAより上手く再構成できていると判断され、精度もあまり低下しませんでした（図３C）。

figure3.jpg

図３ 低次元の軌跡 （Manasij et al. (2020) より引用）

隠れ層が３次元でも学習できて、軌跡が綺麗に分離するのはすごいですね…

顕著性マップ

ROIごとの顕著性マップが作られ、ネットワークごとに寄与度が算出されました（図４A）。クリップ序盤のみに寄与するROIがありました。

figure4.jpg

図４ 顕著性マップ （Manasij et al. (2020) より引用）

Dorsal Attention（背側注意ネットワーク）の寄与が大きいのは、映画のシーンごとに注意の度合いが違うからなのでしょうか…

行動志向と性格の予測

HCPに提供されている、以下の行動志向と性格の指標の予測精度を算出しました（図５）。ここで、指標の高い・低い被験者を選択して利用しました。また、機能的連結性 (CPM) による予測より高精度となりました。

  • 流動性知能
  • IQ
  • NEO Five-Factor Inventory
    1. 開放性：openness to experience (O)
    2. 誠実性：conscientiousness (C)
    3. 外向性：extraversion (E)
    4. 調和性：agreeableness (A)
    5. 神経症傾向：neuroticism (N)

figure5.jpg

図５ 行動志向と性格の予測 （Manasij et al. (2020) より引用）

機能的連結性より効果的なんですね…!!

Discussion

被験者間に一貫した時空間パターンが、低次元空間の"軌跡"として取得されました。また、LSTMはSOTAであり、動的な時空間パターンをモデル化する強力なフレームワークになりえます。

「自然な」刺激は、単純な刺激とは別のメカニズムで脳に働きかけると考えられます。分散して動的な神経活動パターンのモデル化に、積極的に取り組む必要がありそうです。

Reference
  • Capturing brain dynamics: latent spatiotemporal patterns predict stimuli and individual differences; Manasij Venkatesh, Joseph JaJa, Luiz Pessoa; bioRxiv 2020.06.11.146969; doi: url
  • Yeo BT, Krienen FM, Sepulcre J, et al. The organization of the human cerebral cortex estimated by intrinsic functional connectivity. J Neurophysiol. 2011;106(3):1125-1165. doi: url

Topics
My Twitter