アモーダル記号システム

我々がある対象を知覚するとき、その対象の「カテゴリー」や「概念」を自然に認識するでしょう。このような情報のカテゴリー化は、心身の発達とともに獲得し、知覚・思考の一因となっています。

例えば、同じカテゴリー内の物体は、異なるカテゴリー内の物体に比べて判別するのに時間がかかります (Holmes & Wolff (2012))。これは、言語ラベル（キャプション）が無くても起きる現象で、カテゴリー化による認識の促進の例と考えられています。

アモーダル記号システム (Amodal Symbol Systems)

アモーダル記号システム (Amodal Symbol Systems) とは、知覚された情報を意味記憶による表象に変換する知覚システムです。視覚・聴覚・触覚などをモード (mode) といい、これと独立した感覚性のないものをアモーダル (amodal) といいます。アモーダル記号システムでは、アモーダルな意味的記憶によって情報が記号化されると考えるのです。

アモーダル記号システムでは、感覚知覚情報に基づかない静的な「記号」を仮定します。このアモーダルな「記号」によって、認知処理が実行されると考えるわけです。また、静的な故に容易に形式化できるといえるでしょう。

カテゴリーの内部表象

我々の認知過程において、カテゴリーの内部表象がどのように生成しているかといった問題があります。

まずは、全ての対象に一様にカテゴリーが決まっているとします（規則モデル）。この場合、カテゴリーが曖昧な物体を認識できることの説明がつかなくなります。

そのため、カテゴリーごとに典型的な表象があるとする考えが生まれました（典型モデル）。この場合は、確率的にカテゴリーを決めることができます。しかし、典型的な表象との距離が定量できないといった問題が生じました。

そこで、典型的な表象も規定せず、過去の経験との類似性からカテゴリーを決めるという考えが有力となっています（事例モデル）。記憶している近しい事例との参照をすることで、各カテゴリーの統計的な特徴を推論できるわけです。なんだか、サポートベクトルマシンのようですね。

アモーダル記号システムを前提とした事例モデルでは、記憶した静的な事例との参照を行ってカテゴリーの内部表象を生成するわけです。

アモーダル記号システムと神経科学

アモーダル記号システムの神経基盤を探す試みもなされてきました。Szameitat et al. (2002) などでは、異なるモダリティの刺激によって共通して活性化する脳領域をfMRIで検出しました。しかし、これはfMRI上で重複が単に見られるということのみで、空間的解像度の制限上、本質的に重複しているかどうかはわかりません (Benjamin et al. (2013))。

また、意味の想起といったパラダイムにおけるアモーダルな反応も考えられています。Simanova et al. (2014) では、刺激を与えずに想起した意味の判別ができるとしました。しかし、これも本質的にはモダリティと切り離されたアモーダルな神経基盤であるとはいえません。判別の根拠がモダリティによる情報であるからからです。やはり、反応パターンからアモーダル記号システムを同定するのは難しいのでしょうか？

知覚的記号システム

このアモーダル記号システムと対象的に、内部表象が各モダリティに分散して基底をなすという 知覚的記号システム (Perceptual Symbol Systems) が提唱されました (Barsalou (1999))。

知覚的記号システムでは、知覚的記憶によって情報が記号化されます。このとき、カテゴリーは動的に生成され、短期記憶として存在します。カテゴリーは知覚的記憶のシミュレーターによって、その場で生成しているわけです。

この観点についても、研究が多くされていますが、今回はここまでとしたいと思います。

---

Reference

• Holmes, K. J., & Wolff, P. (2012). Does categorical perception in the left hemisphere depend on language? Journal of Experimental Psychology: General, 141(3), 439–443. doi: url
• 松香 敏彦 , 川端 良子 . (2016). 概念の流動性について . 人工知能 Vol.31 1 67-73. url
• 日本認知科学会 編 , 谷口 忠大 著 . (2020). 心を知るための人工知能 ― 認知科学としての記号創発ロボティクス ―. 共立出版 . url
• Szameitat, A. J., Schubert, T., Müller, K., & Von Cramon, D. Y. (2002). Localization of executive functions in dual-task performance with fMRI. Journal of cognitive neuroscience, 14(8), 1184-1199. doi: url
• Tamber-Rosenau, B. J., Dux, P. E., Tombu, M. N., Asplund, C. L., & Marois, R. (2013). Amodal processing in human prefrontal cortex. Journal of Neuroscience, 33(28), 11573-11587. doi: url
• Simanova, I., Hagoort, P., Oostenveld, R., & Van Gerven, M. A. (2014). Modality-independent decoding of semantic information from the human brain. Cerebral cortex, 24(2), 426-434. doi: url
• Barsalou, L. W. (1999). Perceptual symbol systems. Behavioral and brain sciences, 22(4), 577-660. doi: url