Up

『Transformer』 ── ChatGPT に支援されて学習書づくり ──

作成: 2025-05-16 更新: 2025-05-28

---

ChatGPT から支援を得るための作法 導入 本論考について 「野生の思考」 Transformer とは何か 学習前の設定 「埋め込み (embedding) トークン ID (固定) トークベクトル (ランダム初期設定) 位置エンコーディング (固定) 重み行列 W_Q, W_K, W_V (ランダム初期設定) 正解表 (固定) 重み行列 W_Ｏ (ランダム初期設定) 学習テクスト 学習データセット 入力テクストの長さ制限 　　学 習 入力層──学習テクストの入力 学習ブロック レイヤー構造 Self-Attention Query･Key･Value の意味論 FFN (FeedForward Network) Residue & LayerNorm トークンベクトル・重み行列の更新 教師あり学習 トークンベクトルの更新 重み行列の更新 トークンベクトル空間の視覚化 学習の終了 (切り上げ) 存在論 「学習・成長」を「自然選択」と見る思想 Transformer を Emergencer に