tokenizer:vocabulary-size

(tokenizer:vocabulary-size tk)

語彙が定義している id の個数、すなわち tokenizer:make-bpe に渡した tokens 列の長さ（特殊トークンを含む）です。モデルの分類ヘッドの出力次元と一致していなければならない数字です。