情報科学 › Claude Code の中身 › 安全性

承認の件数と見逃し(仮定つきの模型)

命題 5.4(「安全性」§5) ・ ✓公理まで証明済み

1 つの作業で人間に確認を求める件数を mm とし、そのうち危険な行為は dd 件とする。仮定: 人間が危険な行為 1 件を誤って承認する確率は、件数の関数 h(m)h(m) で、hh は広義単調増加(件数が増えるほど、1 件あたりの確認の質は下がるか、変わらない)である。危険な行為の見逃しの期待件数を L=d h(m)L = d\,h(m) とする。

確認を減らす仕組み(許可規則や、サンドボックスの中での自動実行)を入れて、m0m_0 件を確認なしで実行するようにし、その中に危険な行為が d0d_0 件含まれるとする。確認なしで実行された危険な行為が被害につながる確率を η\eta とする。このときの見逃しの期待件数は L′=(d−d0) h(m−m0)+d0 ηL' = (d - d_0)\,h(m - m_0) + d_0\,\eta である。

  1. d0=0d_0 = 0(確認なしにしたものに危険な行為が含まれない)ならば、L′≤LL' \le L。
  2. 一般には、L′<LL' \lt L となるのは d0 (η−h(m−m0))<d (h(m)−h(m−m0))d_0\,\bigl(\eta - h(m - m_0)\bigr) \lt d\,\bigl(h(m) - h(m - m_0)\bigr) のとき、かつそのときに限る。

本文で読む(証明と前後の説明)→

閉包の状態

✓ 公理まで証明済み

証明が使う定理を 前提 としてたどると、Rikai の中の証明だけで定義・公理(物理では基本仮定)までつながっています。

印の意味: ✓公理まで証明済み ・ △証明あり(閉包未完)・ ※主張のみ。テーマごとの集計は 閉包の状況。

前提をたどる 証明が使う定理・定義

証明は Rikai の他の定理を参照していません(定義と論理だけで示されています)。

これを使っている定理

証明で明示的に参照している定理は、まだありません。