tokenizer:bos-id
(tokenizer:bos-id tk)
トークナイザの開始(BOS)id を返します。持たない場合は nil です。(tokenizer:encode tk text :bos t) が id 列の先頭に付けるのがこの値です。BOS を必要としないベースモデルではキーワードを付けなければよいだけです。
(tokenizer:bos-id tk)
トークナイザの開始(BOS)id を返します。持たない場合は nil です。(tokenizer:encode tk text :bos t) が id 列の先頭に付けるのがこの値です。BOS を必要としないベースモデルではキーワードを付けなければよいだけです。