注意のパターン・窓つき注意・大域トークン

$M \in \{0, 1\}^{n \times n}$ で、すべての $i$ について $M_{ii} = 1$ であるものを注意のパターンといいます。パターン $M$ つきの注意は、位置 $i$ のクエリ $\boldsymbol{q}_i$、位置 $j$ のキー $\boldsymbol{k}_j$ とバリュー $\boldsymbol{v}_j$ に対して

で定めます。$M_{ii} = 1$ なので分母は正です。

• $M_{ij} = 1$ ならば $j \le i$ であるとき（$M$ が下三角のとき）、パターンは因果的であるといいます。
• 全注意（因果的）: $M_{ij} = 1 \iff j \le i$。
• 幅 $w$ のスライディングウィンドウ注意（因果的、$w \ge 1$）: $M_{ij} = 1 \iff i - w < j \le i$。各位置は自分を含む直前の $w$ 個を見ます。
• 大域トークン: 位置の集合 $\mathcal{G} \subset \{1, \ldots, n\}$ を選び、パターン $M$ を $M'_{ij} = 1 \iff (M_{ij} = 1 \text{ または } i \in \mathcal{G} \text{ または } j \in \mathcal{G})$ に広げます。すべての位置が大域トークンを見て、大域トークンはすべての位置を見ます。