タグ: 言語モデル

← タグ一覧

• 推論：自己回帰生成・温度と top-p・KV キャッシュ・量子化学習済みの重みから文章を生成する手続きを定義し、温度の極限とエントロピーの単調性、top-p 集合の一意性と最小性、貪欲復号が最適でない反例、KV キャッシュの正しさと計算量、一様量子化の誤差の上界を証明して NumPy で確かめる。情報科学LLM アーキテクチャ学部言語モデルサンプリング温度KVキャッシュ量子化約 47 分
• スケーリングと文脈：文脈長・疎な注意の受容野・スケーリング則文脈長を伸ばすと注意の計算量が 2 乗で増えることから出発し、窓つき注意の計算量と受容野、経路長の比較、べき則の読み方、計算量の予算のもとでのモデルとデータの最適配分を証明し、経験則として引用する部分と区別して述べる。情報科学LLM アーキテクチャ学部言語モデル文脈長注意機構スケーリング則検索拡張生成約 52 分
• 言語モデルの学習：次トークン予測・パープレキシティ・AdamW・LoRA自己回帰言語モデルの損失が列の対数尤度であること、パープレキシティが交差エントロピーの指数であることを示し、Adam のバイアス補正と更新量の上界、AdamW と L2 正則化の違い、LoRA が表せる更新が階数 r 以下の行列全体であることを証明する。情報科学LLM アーキテクチャ学部言語モデル交差エントロピーパープレキシティAdamLoRA約 17 分