Barsalou (1999)『知覚的記号システム』のメモ - 3,4章

Barsalou (1999), Perceptual Symbol System の3章と4章を読んだメモです。

3. Derived properties

• 知覚状態を分解してフレームに統合することでシミュレーターを作成し、カテゴリー知識の基となる概念システムが構成された。
• さらなる機能を持つために、productivity、proposition、abstract concept、variable embodiment が実装できることを示す。

3.1. Productivity

• 人間の認知システムには、経験を超えた概念的構造や言語的構造を生み出せるような生産性がある。
• シミュレーターの組み合わせによって複雑なシミュレーションを生成できる。
  • (ex)「気球 + 雲 + 垂直方向」の組み合わせによるシミュレーション。
• シミュレーションを再帰的に組み合わせることで、無数のシミュレーションを生成できる。
  • (ex)「気球 + 雲 + 垂直方向」と「飛行機 + 雲 + 水平方向」は雲で再帰的に繋がる。

3.1.1. Reversing the symbol formation process

• 概略性 (schematicity) は生産性 (productivity) を可能とする。概略化するときに捨てた情報が生産性を助長する。
• 概略的な領域の穴埋めだけでなく、その領域の置換・変換・削除 (replacement, transformation, deletion) によっても生産性が生じる。
• 概略化 (schematization) と専門化 (specialization) の相補性によって、概念システムができる。これが、知覚システムの枠組みの中で達成できる。

3.1.2. Productivity in imagination

• 生産性は経験を超えたシミュレーションを提供し、創造性の源となる。
• 知覚的記号は概略的であるため、創造的に組み合わせて架空の対象をシミュレーションできる。

3.1.3. Constraints and emergent properties

• 重要な特徴を持っていない架空の対象は、シミュレーションできない。これは制約となる。
  • (ex) メロンが走り出すことはない。
• ただ、創発的な特性が発生するときもある。
  • (ex) 椅子の脚が動物のように走り出す。

3.1.4. Linguistic control of productivity

• 文法は概念構造に対応する。例えば、文法の生産性は概念化の生産性に対応する。
• この対応によって、人間は言語を用いて概念化の生産性を制御・伝達できる。
• カッコイイのでそのまま引用 $\to$ "The productive control of conceptualization through language appears central to defining what is uniquely human."

3.2. Propositions

• 人間の認知システムは、状況を記述し解釈する命題 (proposition) が生成できる。
• 知覚的記号システムには、命題を実装するのと同じ機能が導ける。

3.2.1. Type-token mappings

• 対象を認識するとき、シミュレーター (type) から生成したシミュレーションと対象 (token) との対応付けを行っている。これを Type-token マッピングという。
• Type-token マッピングによって、暗黙の内に命題 “It is true that the perceived individual is a token of the type." を構成する。

3.2.2. Categorical inferences

• シミュレーターを個々の対象に紐づけることで、多種多様なカテゴリカル推論を実行できる。

3.2.3. False and negative propositions

• 紐づけできない場合は、誤った命題が構成される。
• 否定的な命題の議論は 3.4 で行う。

3.2.4. Multiple construals

• 知覚状態のどの側面を切り取るかによって、様々な解釈が生じ、別の命題が構成される。

3.2.5. Productively produced hierarchical propositions

• 知覚的に階層的な構造があれば、階層的な命題を構成できる。

3.2.6. Alternative interpretations

• 同じ情報でも、選択的注意によって様々な解釈が生じる。

3.2.7. Gist

• 知覚的シミュレーションは、様々に言い換えられる要約情報 (gist) を表現することができる。

3.2.8. Intentionality

• 命題は志向性 (intentionality) を表現する。知覚的表現は志向性を持っている。
• 知覚した内容が志向性を決めることをはほとんど無いが、知覚的記号の同定に補助と制約を与える。志向性を確立するのに重要ではあるが、完全ではない。

3.2.9. The construal of perceptual symbols

• 心的表象についていくつかの問題が提唱される。
• 対象が実在しないときの心的表象の曖昧さといった問題がある。これに対して、知覚的記号システムでは、背景となるフレームによって明確な解釈が与えられる。
• 違う見えの心的表象を同じ対象として解釈する問題がある。これに対して、知覚的記号システムでは、同じシミュレーターが生成する異なるシミュレーションを違う見えとして解釈できる。

3.3. Variable embodiment

• Variable embodiment とは「記号の意味が、その記号の表現する物理的なシステムを反映すること」である。
• 知覚的記号システムでは、知覚システムの神経表現と概略的記号形成によって variable embodiment が生じる。
• アモーダル記号システムには存在しない。物理的な身体とは関係なく実装しうるシステムである。
• 知覚的記号は、その内容や実装されるシステムによって機能の変化する可能性がある。

3.3.1. Adaptive roles of variable embodiment

• variable embodiment によって、各個体は環境に応じた知覚的記号を形成する。
  • (ex) 色の知覚的記号は色の知覚に最適化される。
• アモーダル記号システムでは、対象と記号の構造的関連が無いため、このような適応性はない。

3.3.2. Variable embodiment in conceptual variability and stability

• シミュレーションの違い (sec 2.4.5) に加え、variable embodiment からも個人間に概念のばらつきが発生する。
• とはいっても知覚体験はさほど変わらないので、基本的な共通性による概念の安定性はある。

3.4. Abstract concepts

• 抽象的な概念を知覚体験から生みだすのは困難だと思われていた。

3.4.1. Representing abstract concepts metaphorically

• 認知言語学者は、メタファー (metaphor, 比喩 ) によって抽象的な概念を知覚に基づき表現できることを示唆した。しかし、メタファーは表現力が低く、直接的な表現の必要性は否定できない。
• 比喩的な言葉には多義性があることもある。慣れ親しんだ比喩は直接的な解釈を生み出す可能性もある。

3.4.2. Representing abstract concepts directly with perceptual symbols

• 2つの典型的な抽象的概念である "truth" と "disjunction" の表現方法について考える。
• 3つの中心となるメカニズム
  1. 抽象的な概念の根底にあるフレーミングを実装すること。
  2. 抽象的な概念の重点 (focal) に選択的注意を与えること。
  3. 内観的な状態を知覚的記号で表現すること。
• 抽象的な概念を構成する一連のイベントを特定 $\to$ 内観的な状態を関連付ける $\to$ イベントの背景となる概念の重点を特定する、といった流れを繰り返す。
• 神経学的な知見：抽象的な概念に反応する前頭野におけるマルチモーダル処理と逐次処理

3.4.3. Representing truth, falsity, negation, and anger

• "true" はシミュレーションによるマッピングが成功した状態である。
  • 「知覚した体験」と「内的シミュレーション」をマッピングできるよう学習する。
• "falsity" はマッピングが失敗した状態である。
• "negation" はマッピングが無い状態である。
• "anger" は成功すると期待していたマッピングが失敗した状態である。= "blocked goal"
• これらは同じ意味領域に属し、かなり早い段階から持っている（おそらく生まれたときから存在する）。

3.4.4. Representing disjunction and ad hoc categories

• "disjunction" は複数のシミュレーション（命題）の組み合わせと再構築によって生じる。
• "ad hoc categories" も同じ意味領域に属する。同じエンティティが違うシミュレーションで概略化されると、それぞれアドホックカテゴリーとなる。
  • (ex) 椅子は「電球を変えるための足場」にも「ドアを押さえておく物」にもなる。

---

4. Implications

• 選択的注意は知覚的経験の構成要素を抽出して、概念として機能するシミュレーターを確立する。さらに、確立されたシミュレーターは、カテゴリー推論や生産的で複雑なシミュレーションを生成できる。また、抽象的な概念も表現でき、知識理論に求める機能を全て実行できる (？)。
• 知覚的記号による認知機能の実装を見ていく。

4.1. Implications for cognition

4.1.1. Perception

• 知覚と認知は分離していない。同じ神経基盤に基づいている。
• ボトムアップ・トップダウンと相互に影響しあう。

4.1.2. Categorization and concepts

• カテゴリー化は命題論理的 (propositional construal) である。 (sec 3.2)
• カテゴリー化の根底にある概念も、ある種のものを知覚的にシミュレーションする機能である。知覚的な知識をアモーダル記号より簡単に生成できる。
• 人が概念を形成するために、理論を使用すると仮定するより、日常の経験からシミュレーションされたイベントを使用すると仮定する方が現実的かもしれない。

4.1.3. Attention

• 注意は、記号を概略化するために重要である。
• さらに、シミュレーションの中での対比といった新しい役割も考えられる。
• 伝統的な注意への説明
  1. 自動的な注意：慣れ親しんだシミュレーションの実行。
  2. 戦略的な注意：新しいシミュレーションの構築。
  3. プライミング：知覚的入力を円滑化する予測処理。
  4. 注意の抑制：シミュレーターの抑制。

4.1.4. Working memory

• 作業記憶は、知覚的シミュレーションを実行するシステムである。
• オフラインでのシミュレーションでも、作業記憶システムが利用できる。

4.1.5. Long-term memory

• 長期記憶も作業記憶も知覚的であり、長期記憶にはシミュレーターが含まれていて、作業記憶でシミュレーションを実行する。
• 記憶の検索は、知覚的なシミュレーションである。これは、無意識的（潜在記憶）にも、意識的（顕在記憶）にも生じる。

4.1.6. Language processing

• 言語理解は、発話や文章の意味を表すシミュレーションの構築とみなせる。また、言語によって生産的にシミュレーションを組み合わせ、シミュレーションによる推論ができる。
• 解釈を提供するシミュレーターに紐づけられることで、特定の対象に関する推論が可能となる。

4.1.7. Problem solving, decision making, and skill

• 問題解決は、初期状態から目標状態に至る知覚的なシミュレーションを構築する処理である。
• 意思決定は、どのシミュレーションを概略化するのが最善かを選択することである。
• スキルは、あるドメイン内のほとんどの計画のシミュレーションをまとめた結果である。

4.1.8. Reasoning and formal symbol manipulation

• モーダスポネンス（$\text{X} \to \text{Y}$ が真で $\text{X}$ が真ならば、結論は $\text{Y}$ である¹）が実装できる。
  • 最初にシミュレーション（$\text{X} \to \text{Y}$）を生成しておき、後で特定の対象（$\text{X}$）を観測すると、$\text{Y}$ が推論される。
• 同様に三段論法 (syllogism) も実装できる。また、シミュレーションの難易度から因果推論 (causal reasoning) を実装できる。
• "arbitary" の記号のシミュレーションを通して、記号的操作が実装できる。ただし、人々は非形式的なシミュレーションにも価値を見出す（データの視覚化など）。

4.2. Implications for evolution and development

• アモーダル記号システムの実装には、飛躍的な進化が必要である。（たしかに…。）
• 知覚的記号システムは、人間以外の動物との連続性を提供する。
• 人間の知性の特異的な点は、言語の使用である。言語を通して、シミュレーションを共有し、共通の目的を達成できる。
• 進化と発展のために知覚的記号システムは変化する必要がある (sec 3.3) が、根本的に新しい形式は必要ない。

4.3. Implications for neuroscience

• 知覚に関する神経システムは多くが明らかになっているため、認知が知覚に基づいているならば、知覚の見識を認知の理解に利用できる。
• 知覚と認知の神経解剖学的な違いは存在する。重要なのは、それらが神経表現をかなり共有している点である。

4.4. Implications for artificial intelligence

• コンピューターはアモーダル記号システムであるが、その上に知覚的記号システムを実装することができる。
• 現在 ( 1999年 ) のコンピューターの感覚運動システムは非人間的であり、人間の概念を表現することはできないと考えられる。本質的に生物学的な感覚運動システムの実装が必要である。

---

Reference

• Barsalou, L. W. (1999). Perceptual symbol systems. Behavioral and brain sciences, 22(4), 577-660. doi: url