Barsalou (1999)『知覚的記号システム』のメモ - 1,2章
最終更新日: 2020年11月5日Barsalou (1999), Perceptual Symbol System の1章と2章を読んだメモです。
1. Introduction
- アモーダル (amodal) = 非知覚的な認知表現
- アモーダル理論によって認知 (Cognition) と知覚 (Perception) が分離されているのではないか？
1.1 Grounding cognition in perception
- 知覚的記号 (perceptual symbol) は知覚と同じシステムで表現されるため、知覚的 (modal) であり、類推的である。
- 2000年以上、認知は本質的に知覚的であるとされてきた。
- その考えは、20世紀初頭にメンタリズムによって排除された。
- 結果として、心的表象ベース (image-based) の認知理論は消え去った。
1.2 Amodal symbol systems
- 本質的に非知覚的な表現体系を利用し始めた。= アモーダル記号
- 言語的な表現方法 (e.g., feature lists, frames, schemata, semantic nets, procedural semantics, production systems, connectionism) に基づいている。
- 感覚運動システムで生じた知覚状態は表現言語 (representation language) に置き換わる。
- アモーダル記号は、非知覚的で任意性をもつ。単語が任意のエンティティと関連すると同じように、アモーダル記号は任意の知覚状態と関連する。
- アモーダル記号間の類似性は、知覚状態間の類似性と対応しない。
- アモーダル記号は言語的であり、概念処理には一連のアモーダル記号の処理が含まれている。
- 学習によって、知覚状態と概念表現を結びつけている。（コネクショニスト？）
1.2.1 Strengths
- アモーダル記号システムには、概念システムが示す機能を説明する体系が整っている。
1.2.2. Problems
- アモーダル記号システムの直接的な証拠はあまりない。
- カテゴリー知識はアモーダルでないという例。
- アモーダル記号は、すべての計算機能を実装するのが難しい。例えば、時空間的な知識の表現など。
- アモーダル記号への伝達経路が見つかっていない。
- 記号接地問題 (symbol grounding problem = どのように内部の記号が現実にマッピングするか ) の説明がない。
- 物理的な対象が無いときの理解は、アモーダル記号では実装できないのではないか ? 知覚的表現を利用するといった解決策は、アモーダル性を冗長にしてしまう。
- アモーダル記号は強力すぎる (too powerful)。
1.2.3. Theory evaluation
- 懐疑的な点が多くあり、それらを批判的に捉える必要がある。
1.3. The current status of perceptual symbol systems
- 知識の知覚理論は広く誤解されている。ステレオタイプを超えて成長している。
- 認知の知覚理論を開発する研究者は徐々に増えている。
1.4. Recording systems versus conceptual systems
- 記録システム (recording system) と概念システム (conceptual system) を分けることが重要である。
- 記録システム：知覚したものを記録する。
- 概念システム：記録の中のエンティティを解釈する。
- 概念システムによって認知システムは、知覚した入力以上の機能を有し、複雑な概念を生成し、命題の定式化ができるようになる。
- 知覚的な知識の理論は、概念システムの性質を調査する必要がある。
2. Core properties
- この理論では、脳が感覚運動メカニズムを利用して概念システムを実装する方法について、高レベルの機能のみを記述した。
2.1. Neural representations in sensory-motor systems
- 知覚的記号は、知覚を構成する神経状態の記録である。脳内の神経活性化パターンが、知覚したエンティティやイベントの性質を表現していることが分かっている。
- 知覚 (perception) 、心的表象 (imagery) 、概念的知識 (conceptual knowledge) は共通の神経基盤を持っている。
2.1.1. Conscious versus unconscious processing
- 無意識下の神経表現が、知覚的記号の中心となる要素である。
- 認知科学と神経科学の両方で、「無意識下の神経表現」と「意識化の神経表現」は別であるという結果がある。
- 一部の対象の経験には、心的表象がほとんどない。意識的に表現されている必要はないはずである。
2.2. Schematic perceptual symbols
- 知覚的記号は全体の記録ではなく、あるサブセットの記録である。
- 選択的注意 (selective attention) の2つの役割：知覚的記号の性質を説明する。
- 情報の隔離 (isolate information in perception)
- 長期記憶への保存 (store the isolated information in long-term memory)
- 選択的注意は常に経験内の「ある側面」を切り出しているため、多くの概要表現が記憶に保存される。
- 選択的注意は、ニューロンレベルで起こっている。
- 意識的な経験は、選択的注意による知覚的記号の形成に伴って起こり、それが自動化されるほど無意識的になっていくのかもしれない。
2.2.1. Perceptual symbols are dynamic, not discrete
- 知覚的記号は動的に変化するような、コネクショニストネットワークのアトラクターである。
- 知覚的記号は厳密でも離散的でもない。
2.2.2. Perceptual symbols are componential, not holistic
- 知覚的記号は要素的であり、全体的な情報は必要ない。
- そのため、意識的な経験も概要表現の組み合わせによって形成される。（接続詞は必要ない。）
2.2.3. Perceptual symbols need not represent specific individuals
- 知覚的記号が特定の対象 (specific individuals) を表現する必要はない。
- 部分的な情報は反芻され、いくつかの情報は不正確である。
- 同じ記号が、因果や文脈に応じて様々な対象を表現する。
2.2.4. Perceptual symbols can be indeterminate
- 概念化 (conceptualization) が不確定的であると、神経表現はその概念を表現できない。
- 定性的なニューロンは非決定論的であり、汎用的である。そのため、概念の不確定的な表現が生じる。
2.3. Multimodal perceptual symbols
- どの知覚的側面（モーダル）も同じように記号化するため、幅広い種類の記号が保存される。
- それぞれの記号は別々の脳領域で保存される。それぞれのモーダルに特有な脳領域が見つかっている。
- ここで、"perceptual" は知覚した経験のあらゆる側面を指し、古典的な区分に囚われない。
2.3.1. Introspection
-
内観的な処理 (introspective processing) の神経基盤はよくわかっていない。
-
3つの内観的な経験に着目した。
- 心的表象の状態 (representational state)：エンティティやイベントの、それらが無い状態での表現。
- 認知的な操作 (cognitive operation)：リハーサル、精緻化、探索、想起、比較、変換など (rehearsal, elaboration, search, retrieval, comparison, transformation)
- 感情の状態 (emotional state)：情動、気分、感情など (emotion, mood, affect)
-
内観的な状態にも選択的注意がはたらき、ある側面の情報が知覚的記号として保存されている。
2.4. Simulators and simulations
Simulators and simulations
（Barsalou et al. (2003) より引用）
（Barsalou et al. (2003) より引用）
- 知覚的記号は長期記憶内で互いに独立して存在してはいない。
- いくつかの関連する記号がシミュレーター (simulator) を構成する。
- 知覚的記号は、後述するフレーム (frame) に統合される。フレームの情報のサブセットが活性化して、特定のシミュレーション (simulation) を作業記憶内に生成する。
2.4.1. Caveats
- シミュレーターはいつも大雑把である。
- シミュレーションには様々なバイアスが生じる。
- (ex) ゲシュタルト知覚的な組織化
- シミュレーターは経験の寄せ集め以上に複雑である。
2.4.2. Dispositions, schemata, and mental models
- 深い生成メカニズムから浅い心的表象が構築される。すなわち、シミュレーターから特定のシミュレーションが生成される。
- メンタルモデルは浅い心的表象と同等である。
2.4.3. Concepts, conceptualizations, and categories
- 学習の最初の目的はシミュレーションの構築となる。
- この理論では、概念はシミュレーターと同等であり、様々なシミュレーションはその概念を概念化している。
- concept = simulator
- limitless simulations provide different conceptualizations.
- 個々の対象やカテゴリーのようなユニット (unit) に知識が蓄積される。
2.4.4. Categorization, categorical inferences, and affordances
- 知覚したエンティティは、それに対する十分なシミュレーションを与えるカテゴリーに属する。
- カテゴリー化 (Categorization) に必要な知識は、そのエンティティとほぼ同じ知覚体験である。
- カテゴリー化は、カテゴリカル推論 (categorical inference) を導く。
- シミュレーターは、エンティティ無しでもカテゴリカル推論を生成する。ただし、実際のアフォーダンスの一部は保持している必要がある。
2.4.5. Concept stability
- 概念の安定化の問題：概念化が個人内・個人間で異なっている。
- 同じシミュレーターで生成したあるカテゴリーのシミュレーションは、統合されて安定化する。
- 他人のシミュレーションのシミュレーションで、個人間で概念化を揃えることができる。
2.4.6. Cognitive penetration
- 認知は感覚運動システムに影響する (penetrable)。
- 知覚的記号システムでは、知覚的記憶のみ存在する。（認知的記憶と知覚的記憶の区別はない）
- 錯視などは、ボトムアップの情報とボトムダウンの情報が競合しているときに、ボトムアップが支配的になるということかも？
- ボトムアップとボトムダウンに互換性があるときには、協調するときもある。
2.4.7. A family of representational processes
- 感覚運動システムの表現メカニズムの3つの役割
- 認知で、物理的対象を表現する。
- 心的表象で、実在しない対象を表現する。
- 概念化で、実在しない対象を表現する。
- 潜在記憶では、知覚的記憶がなじみのある対象 (familiar entity) の知覚を加速させる。（ボトムアップの情報と融合する）
- 認知表現と知覚表現は共通のシステムに存在し、互いに補間しあっている。
- トップダウンとボトムアップの処理は、有用な知覚の構築を調整する。
- 解釈 (interpretation) は、世界の特定の概念化に適した感覚処理を生成する。
- 重要な認知過程は感覚運動情報を利用しており、更に相互作用している。
2.5. Frames
Frames
（Barsalou (1999) より引用）
（Barsalou (1999) より引用）
- フレームは、あるカテゴリーの特定のシミュレーションを構成するのに使う、知覚的記号を統合するシステムである。
- フレーム内では、空間情報と個々の要素の情報は別々に表現される。これには、別々の神経回路が用いられている。
- 2回目の知覚的経験でも、知覚的記号の抽出は同様の方法・領域で行われ、以前の知識構造と統合される。
- 多数の経験を経て、デフォルトの専門領域 (specialization) が構築される。
2.5.1. Basic frame properties
- フレームの基礎となる4つの性質
- Predicate:専門化されていないフレーム
- Attribute-value binding: ある属性に違う値を当てはめること
- Constraint: 同じ対象から抽出した属性を関連付けること
- Recursion: 再帰的にある属性の情報を整理すること
2.5.2. Constructing specific simulations
- フレームを利用して特定のシミュレーションが構築される。まず全体的な（空間的な）情報によるシミュレーションが行われ、再帰的に詳細な属性が専門化される。
- 最終的なシミュレーションは、フレームの状態空間の中で最も強いアトラクターである。
- シミュレーション中には、フレーム内の情報の変換も行われる。
2.5.3. Framing and background-dependent meaning
- 概念は相互に関連している。
- フレーミングにおいて、局所的な概念は背景となる概念に必ず依存する。
- フレームは、フレーミングを助ける背景構造を与え、背景に依存する対象の自然な説明も与える。
2.6. Linguistic indexing and control
- 言語的記号は知覚的記号と同じように発達する。選択的注意によって、話し言葉・書き言葉から概要的な情報が抽出され、シミュレーターに統合される。さらに、このシミュレーターから単語のシミュレーションが生成される。
- 単語のシミュレーターは、参照するエンティティやイベントのシミュレーターに関連付けられる。この関連付けは、シミュレーター全体に関連付けられるだけでなく、その中の属性に関連付けられることもある。
- 様々な関連付けによって、基礎となる概念を反映する意味領域 (semantic field) が生成する。
- 単語のシミュレーターが概念のシミュレーターに関連付けられると、概念のシミュレーターを駆動させて意味解釈 (semantic interpretation) ができるようになる。したがって、言語的記号はシミュレーターを制御して、最も強力な概念的能力を与える。