tokenizer:token-string

(tokenizer:token-string tk id)

語彙が id に割り当てているトークン文字列を返します。バイトレベル BPE ではこれはバイトレベル表記であり、テキストではなくマージリストが書かれている表記です。スペースは Ġ、改行は Ċ で、すべてのバイトが印字可能で空白でない文字になります。id をテキストに戻すには tokenizer:decode を使ってください。