情報科学 › LLM アーキテクチャ › スケーリングと文脈

検索拡張生成

定義 9.1(「スケーリングと文脈」§9)

質問(長さ nn トークン)に対して、外部の文書の集まりから関連する断片を kk 個(各 cc トークン以下)検索し、それらを質問と合わせた列をモデルの入力にして生成する構成を、検索拡張生成といいます。Lewis ら(2020)は、事前学習済みの生成モデルと、文書の索引を引く検索器を組み合わせた構成をこの名前で提案しました。

本文で読む(前後の説明と例)→

閉包の状態

定義

定義は閉包の起点です(証明を要しません)。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

これを使っている定理

証明で明示的に参照している定理は、まだありません。