Up

学習の終了 (切り上げ)

作成: 2025-05-24 更新: 2025-05-24

---

学習はだんだんと「飽和」に向かう。 学習は「飽和」を見て切り上げられる。──学習の終了。 学習終了として，トークン表（embedding matrix）や重み行列を固定する。 Transform は，この状態で製品化される。──「学習済みTransformer (Pre-trained Transformer)」。 ChatGPT は，この製品 Transformer をベースにした「推論ボット＝推論脳」ということになる。 「生成」と呼ばれる入力処理は，学習済みの値をそのまま使っている。 特に，"GPT" の "G(enerative)" は，Transformer ではなく，Transformer をベースにした推論ボットの方に付くワードである。