[論文紹介] rs-fMRIを用いた表現型予測のメタ学習

最終更新日: 2020年8月19日

今回は『Meta-matching: a simple framework to translate phenotypic predictive models from big to small data』という論文の紹介をしたいと思います。

Link

論文： bioRxiv Link
コード：リンクがありませんでした。

この論文はプレプリントであり、ピアレビューによる保証はありません (2020/08/19)

2/5 Big datasets like UK Biobank is great for machine learning! But small data is unavoidable, e.g., in clinical samples. Can we adapt predictive models from big data to *NEW* phenotypes in small data? In machine learning, this problem is known as "meta-learning".
— Thomas Yeo (@bttyeo) August 12, 2020

Abstract

脳画像データを用いて個々の被験者の表現型を予測する研究は、被験者数の少なさによって信頼性が低く、予測精度のインフレが起こりがちです。
"Meta-Matching" という方法によって、大規模データセットの表現型間の相関を利用することで、小規模データセットにおける表現系の予測精度を向上させました。
安静時fMRI (rs-fMRI) のデータセットを用いて、"Meta-Matching" の効果を検証しました。

Introduction

被験者レベルの予測は、システム神経科学の根本的な目標であり、精密な医療にとっても重要となります。そのため、脳画像による表現型（流動知能や臨床効果）の予測に期待が高まっています。しかし、こういった予測研究のほとんどは検定力が低く、再現性の低下と予測精度の増大といった問題が発生しています（Arbabshirani et al., (2017) など）。

もちろん大規模なデータセットによる予測精度の向上は、再現性も向上させます。しかし、臨床集団や神経科学のあるトピックに注目する際には、小規模なデータセットを利用することになります。

この研究では、大規模な脳画像データセットで学習したモデルを、小規模な独立したデータセットに適応させることで新たな表現型を予測させました。これは、メタ学習や learning-to-learn と呼ばれている問題です¹。例えば、DNNを用いて大規模画像セットで学習させてから、少数の特異な例に適応させることがあります。

ここで重要な点は、被験者の表現型において相関があることです。したがって、小規模データにおける表現型Xは、大規模データセットの表現型Yと相関することがあります。その場合、表現型Yで学習したモデルを、容易に表現型Xに利用できる可能性があります。これを、"Meta-Matching" と呼んでいます。

図１表現型同士の相関（He et al. (2020) より引用）

"Meta-Matching" は様々なMRIデータに適用できますが、この研究では、安静時fMRI (RSFC) による表現型の予測を利用して "Meta-Matching" の効果と有用性を評価しました。

Results

実験デザインとベースライン

UK Biobank (Sudlow et al., (2015)) のデータセットから、36,848 人の RSFC 行列 (55 $\times$ 55) と表現型（67 個）を利用しました。データはランダムに、訓練セット（N = 26,848; 33個の表現型）とテストメタセット（N = 10,000; 34個の表現型）に分割されました（図2A）。テストメタセットから、さらにK人の被験者 (K-shot; K = 10, 20, 50, 100, 200) を抽出して small-N の研究を模倣しました。

図２実験デザイン（He et al. (2020) より引用）

テストメタセットにおいて、K人の被験者でカーネルリッジ回帰 (KRR) を学習させ、残りの10,000 - K 人で予測精度を評価してベースラインとしました²。このとき、結果をロバストなものにするため、この手順を100回繰り返しました (Varoquaux et al., (2017))。

ベースラインはサンプル数Kのカーネルリッジ。

Meta-Matching

ここでは、KRRとDNNに対して "Basic Meta-Matching" と "Advanced Meta-Matching" を検討しました（図3）。どちらも始めに、訓練セットで33個の表現型を学習させます。

Basic Meta-Matching: K-shotセットで33個の表現型を予測させ、その中からテストメタセットにおける34個の表現系に最も良く当てはまるものを選ぶ。
Advanced Meta-Matching (Finetune): "Basic" で選んだ表現型1個に対応して、DNNを34個の表現系にファインチューニングする。
Advanced Meta-Matching (Stacking): "Basic" で選んだ表現型 $\min(K,33)$ 個に対応して、DNNの出力から34個の表現系をKRRで予測させる。

図３ Meta-Matchingの流れ（He et al. (2020) より引用）

Meta-Matching の結果

図4Aは、テストメタセットの10,000-Kにおける34個の表現型の**平均予測精度（ピアソン相関）**となります。図4Bでは、ブートストラップ法を用いてp値を算出しています。ここでは、すべてのサンプルサイズで "Basic Meta-Matching" がベースラインを上回ったことがわかります。

ただし、予測精度に決定係数 (COD) を用いた場合は、K=100から有意にチャンスレベルを上回りました。絶対的な予測 (COD, Poldrack et al., (2020)) を目標とする場合には、 "Basic Meta-Matching" には少なくとも100人の被験者が必要になります。

さらに、"Advanced Meta-Matching" を用いた場合には、それ以上の精度向上がみられました。100人以上では有意に "Basic Meta-Matching" を上回っています。また、絶対的な予測を目標とする場合には、少なくとも50人の被験者が必要となりました。

図４ Meta-Matchingの予測精度（He et al. (2020) より引用）

単純な回帰モデルより、かなり性能が上がっているように見えます！

予測の改善と表現型の相関

図5は、ある4個の表現型における予測精度を示しています。ここでは、表現型によって予測精度のばらつきがあるとわかります。

図５表現型ごとの予測精度（He et al. (2020) より引用）

そのため、「訓練セットの表現型との相関」と「予測精度」に関連があると仮定しました。図6を見ると、この２つに正の相関があるとわかります。つまり、少なくとも1つの訓練セットの表現型の少なくとも1つと相関が強い場合、"Meta-Matching" による予測精度の改善が大きくなります。

図６「訓練セットの表現型との相関」と「予測精度」
（He et al. (2020) より引用）

Discussion

大規模なデータセットから小規模なデータセットに適応させる "Meta-Matching" は、UK Biobank のサンプルを利用して予測精度の向上を達成しました。この結果は、"Meta-Matching" が臨床集団や神経科学のあるトピックなどの小規模なデータセットにおいて効果的であることを示唆しています。

予測性能の指標については、相対的な予測性能 (Finn et al., (2015)) と絶対的な予測性能 (Poldrack et al., (2020)) とで意見が分かれています。この研究結果では、相対的なランク付けを目標とする場合、サンプルサイズに関係なく "Meta-Matching" は上手くいくと思われます。一方、絶対的な予測性能を目標とする場合、被験者10から20人では "Meta-Matching" が上手くいかないと思われます。

"Meta-Matching" による予測の改善は、訓練セットとテストセットの表現型同士の相関に強く依存します。そのため、大規模データセットの表現型が、関心のある新しい表現型と相関している必要があるという制限があります。

この方法を「転移学習」と区別することは重要です (Koppe et al., (2020))。転移学習では、目標にする問題とよく似た問題は事前学習されません。一方、メタ学習では、目標とする問題に最適化した事前学習を行うため、新しい問題への適応能力が向上すると考えられています。

転移学習とメタ学習の違いと、メタ学習による最適化方法について、さらに議論がなされる必要がありそうですね。

Reference

He, T., An, L., Feng, J., Bzdok, D., Holmes, A. J., Eickhoff, S. B., & Yeo, B. T. T. (2020). Meta-matching: a simple framework to translate phenotypic predictive models from big to small data. bioRxiv. url
Arbabshirani, M. R., Plis, S., Sui, J., & Calhoun, V. D. (2017). Single subject prediction of brain disorders in neuroimaging: Promises and pitfalls. Neuroimage, 145, 137-165. url
Sudlow, C. (2015). UK biobank: an open access resource for identifying the causes of a wide range 1556 of complex diseases of middle and old age. PLoS Med12. url
Varoquaux, G., Raamana, P. R., Engemann, D. A., Hoyos-Idrobo, A., Schwartz, Y., & Thirion, B. (2017). Assessing and tuning brain decoders: cross-validation, caveats, and guidelines. NeuroImage, 145, 166-179. url
He, T., Kong, R., Holmes, A. J., Nguyen, M., Sabuncu, M. R., Eickhoff, S. B., ... & Yeo, B. T. (2020). Deep neural networks and kernel regression achieve comparable accuracies for functional connectivity prediction of behavior and demographics. NeuroImage, 206, 116276. url
Poldrack, R. A., Huckins, G., & Varoquaux, G. (2020). Establishment of best practices for evidence for prediction: a review. JAMA psychiatry, 77(5), 534-540. url
Finn, E. S., Shen, X., Scheinost, D., Rosenberg, M. D., Huang, J., Chun, M. M., ... & Constable, R. T. (2015). Functional connectome fingerprinting: identifying individuals using patterns of brain connectivity. Nature neuroscience, 18(11), 1664-1671. url
Koppe, G., Meyer-Lindenberg, A., & Durstewitz, D. (2020). Deep learning for small and big data in psychiatry. Neuropsychopharmacology, 1-17. url

メタ学習では、「最適な転移学習の方法」を学習させます。そうすることで、未知のタスクや難易度の高いタスクへの転移学習を効率化することができます。↩
KRRはハイパーパラメーターが少なく、ディープニューラルネット (DNN) と同等の性能を示す (He et al., (2020)) ため、ベースラインとして使用されました。↩