- 構成主義」
わたしは，"Transformer" の門外漢である。
わたしにとって，Transformer の解説テクストを読んで理解することは，ひどく困難である。
この困難は，思考の違いが理由である。
Transformer を語る思考は，Lévi-Strauss のいう「野生の思考」なのである。
野生の思考が語るのは「ブリコラージュ」である。
これは，門外漢には分からない。
では，門外漢が野生の思考/ブリコラージュを理解するにはどうするか？
構造主義/構成主義をする。
Lévi-Strauss は構造主義の祖ということになっているが，野生の思考を理解しようとした彼の方法が構造主義になったのは，必然なのである。
Transformer を理解しようとするわたしの方法も，必然的に「構造主義」になる。
ただしわたしの「構造主義」は，構成主義である。
Transformer の場合，「構成」は「数学的構成」で進められそうに見える。
そこでわたしは，数学に寄せた構成を択ることにした。
「択ることにした」というより，これしかないわけである。
- ChatGPT
Transformer を勉強しようとするわたしの師匠は，ChatGPT である。
わたしは ChatGPT に，数学に寄せたわたしの記号法に乗って Transformer を解説してくれるよう，お願いした。
以来，ChatGPT は快くわたしの記号法に則して解説してくれる。
ChatGPT の知能は，厖大な知識に裏付けられた知能であり，「狭量」というものが無い。
どんな方法論も相対化しつつ理解し，どんな役回りも務めることができる
「物わかり」がよいのである。
人間が相手だと，とてもこうはいかない。
その ChatGPT は，Transformer を語るときは，野生の思考が得意になる。
こちらは構成主義で ChatGPT の説くことを咀嚼しようとするが，なかなか追いつけない。
追いつけないどころか，宿題が増える方が速い。
しかしこれは，すごく良い勉強法になっている。
- 意味の過剰
野生の思考の特徴に, 「意味の過剰」がある。
構成主義には，
「意味の過剰に取り込まれないようにする」
も含まれている。
わたしは，Transformer の「意味の過剰」を，特に「Query, Key, Value」に見る。
この主題も後で出てくるが，「野生の思考」の視点からここで先だって触れておく。
「Query, Key, Value」の文脈は，つぎの数式である：
softmax( ( X(S) W_Q )・( X(S) W_K )^T ) ( X(S) W_V )
即ち，この式の中の Q, K, V が, 「Query, Key, Value」である。
構成主義は，Q, K, V に「Query, Key, Value」を読むことができない。
構成主義の見方は，つぎのようになる：
- 「Query, Key, Value」は，思い入れである。
- しかしこの思い入れが，Transsformer の成功をもたらした。
思い入れが成功をもたらすことは，その思い込みが正しいということではない。
しかし野生の思考では，成功をもたらした思い入れは, 「事実」になる。
野生の思考は，結果主義・実績主義なのである。
上の式は，Transformer を成功に導いた「Self-Attention」の内容である。
この「Self-Attention」の用語は，哲学から出てきていまは科学用語になった「Self-Referrence」の＜生き物＞化である。
構成主義は，この＜生き物＞化は受け入れる。
構成主義は，＜生き物＞に対してはシステム化・機械化主義になるからである。
- プラグマティズム
「野生の思考」の「野生」の意味は，結果主義・実績主義である。
野生の思考の哲学は，プラグマティズム (「理屈は後で付く」)。
「野生」に「劣った」の意味は無い。
実際，テクノロジーを開発する思考は，野生の思考である。
構成主義は，野生の思考が構成的でない点を捉える。
しかし野生の思考は，
「思考が構造化されていなくて，ことばの使い方を間違わない」
である。
これは，文法を知らなくても話せるのと同じである。
ちなみに Chomsky は，「文法を知らなくても話せる」を「言語生得」に解した。
事実は，「言語に晒されていると，ことばを文法的に正しく使えるようになる」である。
Transformer は，「生得」が間違いであることの，直接証明である。
|