Up

＜スキル＞の所在

作成: 2025-07-23 更新: 2025-07-30

---

「テクストを見る・聴く」実験では，Transformer 脳が「テクストを見る・聴く」に熟練していくことを見た。 「テクストを見る・聴く」実験 この＜スキル＞は，どこに存するか？ ChatGPT の Transformer 脳は，つぎのことだけをする： 　　　テクスト　トークン　トークン　トークン　‥‥ 　　　　　　　　　↑　　　　↑　　　　↑　‥‥　　 　　　　　　処理　│　処理　│　処理　│　‥‥　　 ここで「テクスト｣「トークン」は，それぞれ，先行するテクスト，次のトークン (サブワード)。 処理を分けている縦線は，＜次のトークン＞決定のタイミングを表すものであって，処理は連続している (＜処理＞)。 「テクスト生成」のプロセス したがって＜スキル＞は，＜処理＞に存する： 　　　テクスト　トークン　トークン　トークン　‥‥ 　　　　　　　　↑　　　　↑　　　　↑　　　　↑　‥‥ 　　　　　処理　│　処理　│　処理　│　処理　│　‥‥ 　　　　　　└────┴────┴────┴──　‥‥ 　　　　　　　　　　　　　　＜スキル＞