LLM アーキテクチャ 50 本ノック

学部50 問。全問無料です。

対象読者: 本テーマ第 1〜7 章の内容（BPE、位置符号化、自己注意、Transformer ブロック、Adam と LoRA、サンプリングと KV キャッシュ、スケーリング）を学んだ学部生。小さな数値計算を手で追える程度の線形代数と確率を仮定します。

テーマの目次へ（LLM アーキテクチャ）

執筆: Claude Code（Sonnet 5.5）・監査 2 回（Claude Code）・最終 2026-10-12

読み込んでいます…

この冊について（出典・構成・使う定理）

主な参考文献

• A. Vaswani ほか, "Attention Is All You Need", 2017
• R. Sennrich, B. Haddow, A. Birch, "Neural Machine Translation of Rare Words with Subword Units", ACL 2016
• J. Su ほか, "RoFormer: Enhanced Transformer with Rotary Position Embedding", 2021
• D. Jurafsky, J. H. Martin, Speech and Language Processing (3rd ed. draft)

問題はすべて Rikai の書き下ろしです。参考文献の演習や本文は転載していません。

構成

• 1〜6: トークン化（BPE）
• 7〜13: 埋め込みと位置符号化
• 14〜22: 自己注意
• 23〜29: Transformer ブロック
• 30〜37: 言語モデルの学習
• 38〜45: 推論とサンプリング
• 46〜50: 文脈長とスケーリング

形式: 単一選択 17・複数選択 10・○× 6・数値 8・並べ替え 3・誤り探し 3・記述 3。難易度 ★〜★★★★: 9 / 22 / 19 / 0。

この冊で使う定義・定理（87）

• 定義 2.1 one-hot ベクトル・埋め込み行列・重み共有 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 7 番
• 定義 4.1 絶対位置・相対位置・位置符号化 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 8 番
• 定義 6.1 回転位置埋め込み 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 11, 12, 13 番
• 定義 3.1 2 次の回転行列とブロック対角の回転 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 11, 13 番
• 例 4.5 d = 4 の数値例 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 8 番
• 命題 5.1 足す方式の内積の 4 項分解 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 9, 10 番
• 命題 2.2 埋め込みは行の取り出しで、勾配は現れた行だけに入る 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 7 番
• 命題 4.6 学習する位置埋め込みのパラメータ数と定義域 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 12, 25 番
• 命題 6.2 位置の回転の合成 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 13 番
• 命題 4.3 正弦波位置符号化の内積とノルム 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 8, 9, 10 番
• 定理 6.3 RoPE の内積は相対位置だけで決まる 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 11, 12, 13 番
• 定理 4.2 位置のずれは直交行列で表せる 埋め込みと位置符号化：正弦波と回転位置埋め込み（RoPE） → 9 番
• 定義 3.2 貪欲復号とビーム探索 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 44 番
• 定義 7.1 KV キャッシュ 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 41, 42 番
• 定義 4.1 温度つき softmax 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 38, 40, 45 番
• 定義 5.1 top-k と top-p（nucleus）サンプリング 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 39, 45 番
• 定義 8.1 一様量子化 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 43 番
• 例 8.3 8 ビットと 4 ビットの誤差の上界 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 43 番
• 命題 6.1 累積和による標本抽出の正しさ 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 45 番
• 命題 3.3 貪欲復号とビーム探索は確率最大の列を保証しない 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 44 番
• 命題 8.2 一様量子化の誤差の上界 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 43 番
• 命題 6.3 生成の決定性と、浮動小数点演算の順序 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 44 番
• 命題 5.2 打ち切りは条件付き分布である 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 39, 44 番
• 定理 7.2 KV キャッシュの正しさ 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 42, 47 番
• 定理 7.3 KV キャッシュの計算量と記憶量 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 41 番
• 定理 4.2 温度の極限・順位の保存・エントロピーの単調性 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 38, 40 番
• 定理 5.4 top-p 集合の一意性・最小性・単調性 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化 → 39, 44 番
• 定義 4.1 注意のパターン・窓つき注意・大域トークン スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 26, 46, 47 番
• 定義 8.1 計算量の予算の模型 スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 49 番
• 定義 7.2 べき則 スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 48, 50 番
• 命題 4.8 大域トークンは経路を 2 層に縮める スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 47 番
• 命題 7.3 べき則の性質と指数の決定 スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 48, 50 番
• 命題 4.4 因果的なパターンなら因果性は保たれる スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 47, 48 番
• 命題 4.5 窓つき注意の計算量 スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 46 番
• 注意 7.1 経験則：損失は規模のべき則に従う（Kaplan ら） スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 50 番
• 定理 8.2 べき則のもとでの最適配分 スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 49 番
• 定理 4.6 窓つき注意の受容野 スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則 → 48 番
• 系 5.3 位置情報がなければ語順を区別できない 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 18, 22 番
• 定義 4.1 スケール付き内積注意・自己注意・マルチヘッド・因果マスク 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 15, 16, 20 番
• 定義 6.1 因果的な写像の族 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 19 番
• 定義 2.1 置換行列・同変・不変 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 18, 22 番
• 定義 2.2 softmax とマスクつき softmax 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 14, 16, 17 番
• 命題 7.2 自己注意 1 層の計算量 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 21 番
• 命題 4.2 注意の出力は凸結合 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 16 番
• 命題 7.1 マルチヘッド自己注意のパラメータ数 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 20 番
• 命題 4.4 内積の分散は次元に比例する 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 15 番
• 命題 3.1 softmax の基本性質 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 14, 17 番
• 命題 3.2 softmax のヤコビ行列 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 17 番
• 注意 5.4 因果マスクつきの場合 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 18 番
• 定理 5.2 自己注意の置換同変性 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 18, 22 番
• 定理 6.3 因果マスクつきの自己注意は未来に依存しない 自己注意：スケール付き内積注意・マルチヘッド・因果マスク → 19 番
• 定義 2.1 アルファベット・語彙・復号 トークン化：バイト対符号化（BPE）の手順と性質 → 1 番
• 定義 2.3 BPE の学習と符号化 トークン化：バイト対符号化（BPE）の手順と性質 → 2, 3, 6 番
• 定義 2.2 マージ規則とその適用 トークン化：バイト対符号化（BPE）の手順と性質 → 3 番
• 定義 2.4 バイトレベル BPE・特殊トークン・圧縮率 トークン化：バイト対符号化（BPE）の手順と性質 → 4, 5 番
• 補題 3.1 マージの適用 1 回の性質 トークン化：バイト対符号化（BPE）の手順と性質 → 2, 4 番
• 命題 5.1 BPE の符号化は最短分割とは限らない トークン化：バイト対符号化（BPE）の手順と性質 → 6 番
• 命題 4.1 トークン数は増えない トークン化：バイト対符号化（BPE）の手順と性質 → 2 番
• 命題 4.2 学習の停止性とマージ回数の上界 トークン化：バイト対符号化（BPE）の手順と性質 → 4 番
• 命題 3.3 語彙の大きさ トークン化：バイト対符号化（BPE）の手順と性質 → 1 番
• 命題 6.3 トークンの境界は文字の境界と一致するとは限らない トークン化：バイト対符号化（BPE）の手順と性質 → 5 番
• 定理 3.2 符号化と復号の往復 トークン化：バイト対符号化（BPE）の手順と性質 → 3, 4, 5 番
• 定義 5.1 Adam 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 33, 34 番
• 定義 5.6 L2 正則化・重み減衰・AdamW 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 34 番
• 定義 8.2 低階数適応（LoRA） 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 36, 37 番
• 定義 6.1 ウォームアップつきの学習率スケジュール 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 31 番
• 定義 3.4 次トークン予測の損失と教師強制 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 32 番
• 定義 4.1 パープレキシティ 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 30, 35 番
• 補題 8.3 積の階数 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 37 番
• 命題 5.2 移動平均の閉じた形とバイアス補正 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 33 番
• 命題 5.5 Adam の更新量の上界とスケール不変性 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 33, 34 番
• 命題 5.8 L2 正則化と重み減衰は SGD では一致し、Adam では一致しない 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 34 番
• 命題 3.5 次トークン予測の損失の最小化は最尤推定である 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 32 番
• 命題 6.2 Vaswani らのスケジュールの形 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 31 番
• 定理 8.4 LoRA のパラメータ数と、表せる更新の全体 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 36, 37 番
• 定理 4.2 パープレキシティの基本性質 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA → 30, 32, 35 番
• 定義 2.2 残差接続・位置ごとの MLP・ブロック Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 27 番
• 定義 2.3 デコーダのみの Transformer Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 24 番
• 定義 2.1 層正規化 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 23, 28, 29 番
• 命題 7.2 ブロックとモデル全体の同変性・因果性 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 19, 26 番
• 命題 6.1 1 層の順伝播の計算量 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 21 番
• 命題 3.1 層正規化はスケールと平行移動に不変 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 23, 28, 29 番
• 命題 3.3 層正規化のヤコビ行列 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 27, 29 番
• 命題 7.1 MLP と層正規化は位置の間で情報を混ぜない Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 26 番
• 命題 4.1 残差接続の恒等経路 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 27 番
• 注意 4.2 どちらが学習しやすいかは経験的な事柄 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 27 番
• 定理 5.1 デコーダのみの Transformer のパラメータ数 Transformer ブロック：残差接続・層正規化・MLP とパラメータ数 → 24, 25 番