『ChatGPT 探求』Top Page
0.1 本論考について 0.2 ｢野生の思考」 0.3 ChatGPT から支援を得るための作法
1.1 ｢話の糸」立論の理由 1.2 出力 [ p_1, ‥‥, p_m ] 1.3 ｢話の糸｣ の幾何学 1.4 トークン点の分布は「意味分布」ではない 1.5 ｢話の糸」の所在──電子場
2.1インストール 2.1.1 ｢埋め込み (embedding)」 2.1.3 トークベクトル (ランダム初期設定) 2.1.4 位置エンコーディング (固定) 2.1.5 重み行列 W_Q, W_K, W_V (ランダム初期設定) 2.1.6 重み行列 W_Ｏ (ランダム初期設定) 2.2学習テクスト 2.2.1 学習データセット 2.2.2 入力テクストの長さ制限
3.1 入力層──学習テクストの入力 3.2.1 ｢テクストの糸」 ・Self-Attention がしていること ・通説の「Query･Key･Value」解釈 ・Multi-Head Attention 3.2.5 LayerNorm (Layer Normalization) 3.2.6 [ p_1, ‥‥, p_m ] の導出 3.3.1 処理の流れ 3.3.2 誤差 (得失) 3.3.3 誤差逆伝播 3.5 大数・複雑・冗長
4.1 エンコーダ・デコーダ構造 4.2.1 ｢教師あり」の意味 4.2.2 例 : ｢翻訳｣ の学習 4.2.3 例 : ｢応答｣ の学習
5.1 学習の終了 (切り上げ) 5.2 ポテンシャルとしての Transformer 5.3 ｢生成的｣ の様相 |