(rontolisp) docs
← tokenizer パッケージの関数

tokenizer:eos-id

(tokenizer:eos-id tk)

トークナイザの終了(EOS)id を返します。持たない場合は nil です。(tokenizer:encode tk text :eos t) が末尾に付ける値であり、生成ループが停止条件に使う id です。