tokenizer:decode

(tokenizer:decode tk ids)

トークン id 列が表すテキストを返します。受け取るのは列全体で、そのため tokenizer:encode と往復します。マルチバイト文字は日常的に 2 つのトークンにまたがりますし、SentencePiece のエンコードが付けるダミーの先頭スペースもここで取り除きます。1 トークンずつデコードする生成ループには tokenizer:decode-bytes を使ってください。