tokenizer:eos-id
(tokenizer:eos-id tk)
トークナイザの終了(EOS)id を返します。持たない場合は nil です。(tokenizer:encode tk text :eos t) が末尾に付ける値であり、生成ループが停止条件に使う id です。
(tokenizer:eos-id tk)
トークナイザの終了(EOS)id を返します。持たない場合は nil です。(tokenizer:encode tk text :eos t) が末尾に付ける値であり、生成ループが停止条件に使う id です。