torch:subsequent-mask

(torch:subsequent-mask sequence-length)

系列の因果 (先読み禁止) マスクを返します。対角より厳密に上が 1.0 で、形は (1 sequence-length sequence-length) なのでバッチ方向にブロードキャストします。位置 i は j > i のいずれにも注意を向けられません。

torch:padding-mask と同じく生の linalg 配列です。torch:softmax の前にマスク位置を -infinity で埋めるのがマスク付きアテンションの定石で、マスクされた重みはちょうど 0.0 になります。