Up

学習と忘却

作成: 2025-09-18 更新: 2025-09-18

---

Transformer 脳は，テクストの入力に対し＜処理＞を出力する関数である。 この関数を定めているのは，パラメータの値である。 学習は，パラメータの値を変更することである。 したがって，関数を変えることである。 入力Aに対しこれまでBを返していたのが，Bを返さなくなる，ということである。 「入力Aに対しこれまでBを返していたのが，Bを返さなくなる」──これを「忘却」と謂う。 学習は，忘却である。 学習は，忘却とのトレードオフである。 「新しいことを学習して，旧いことを忘却する」──これを「成長」と謂う。 研究型 ChatGPT は，成長する ChatGPT である。