LLM アーキテクチャ

情報科学学部無料 7 章有料 0 章

大規模言語モデル（デコーダのみの Transformer）の仕組みを、入力から出力までの順に、定義・命題・証明・小さな数値例・動く最小実装で扱う。

想定読者: 大学生（理系）・社会人エンジニア、線形代数・微分・確率の初歩と逆伝播を知っていて、大規模言語モデルの中身を数式で追いたい人

前提テーマ:機械学習の数学、AI時代の生存戦略

このテーマの 100 本ノック（50 問）

目次

1. 第 1 章トークン化：バイト対符号化（BPE）の手順と性質無料文字列をトークン id の列に変えるバイト対符号化（BPE）を、記号列の書き換えとして定式化し、往復の一致・語彙の大きさ・長さの単調性・学習の停止性と計算量を証明する。貪欲な符号化が最短分割にならない反例と、最小実装の実行結果も載せる。
2. 第 2 章埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE）無料トークン id をベクトルにする埋め込み行列と、位置をモデルに伝える正弦波位置符号化・回転位置埋め込み（RoPE）を定義し、位置のずれが回転で表せること、RoPE の内積が相対位置だけで決まることを 2 次の回転行列と加法定理から証明する。
3. 第 3 章自己注意：スケール付き内積注意・マルチヘッド・因果マスク無料Transformer の中心の演算である自己注意を定義し、softmax の基本性質とヤコビ行列、注意の出力が凸結合であること、位置情報なしでは置換同変であること、因果マスクのもとで各位置の出力が未来に依存しないこと、計算量とパラメータ数を証明し、NumPy の実装で確かめる。
4. 第 4 章Transformer ブロック：残差接続・層正規化・MLP とパラメータ数無料自己注意に残差接続・層正規化・位置ごとの MLP を組み合わせた Transformer ブロックと、デコーダのみのモデル全体を定義する。層正規化の不変性とヤコビ行列、残差接続の恒等経路、パラメータ数の公式、順伝播の計算量、因果性の保存を証明し、NumPy の実装で検算する。
5. 第 5 章学習：次トークン予測・交差エントロピー・AdamW・微調整と LoRA無料自己回帰言語モデルの損失が列の対数尤度であること、パープレキシティが交差エントロピーの指数であることを示し、Adam のバイアス補正と更新量の上界、AdamW と L2 正則化の違い、LoRA が表せる更新が階数 r 以下の行列全体であることを証明する。
6. 第 6 章推論：自己回帰生成・KV キャッシュ・サンプリング・量子化無料学習済みの重みから文章を生成する手続きを定義し、温度の極限とエントロピーの単調性、top-p 集合の一意性と最小性、貪欲復号が最適でない反例、KV キャッシュの正しさと計算量、一様量子化の誤差の上界を証明して NumPy で確かめる。
7. 第 7 章スケーリングと文脈：文脈長・注意の計算量を下げる工夫・スケーリング則無料文脈長を伸ばすと注意の計算量が 2 乗で増えることから出発し、窓つき注意の計算量と受容野、経路長の比較、べき則の読み方、計算量の予算のもとでのモデルとデータの最適配分を証明し、経験則として引用する部分と区別して述べる。