tokenizer:decode-bytes

(tokenizer:decode-bytes tk ids)

トークン id 列が表す生バイト列を、フィルポインタ付きのバイトベクタとして返します。tokenizer:decode のストリーミング側です。生成ループはこれまでに生成したトークンのバイトを溜め、完成した分だけをデコードします。2 つのトークンに分かれた文字が正しく表示される方法はこれだけです。除去も書き換えも一切行いません。