tokenizer:make-sentencepiece

(tokenizer:make-sentencepiece pieces scores &key specials bos eos)

SentencePiece 形式の BPE トークナイザを構築します。Llama 2 と TinyLlama のもので、examples/llm/llm.lisp が動かしているのと同じ方式です。pieces は id 順のピース文字列の列、scores は対応するマージスコアです。エンコードはダミーの先頭スペースを付けたうえで、連結結果のスコアが最も高い隣接ペアを繰り返しマージします。U+2581 はスペースに読み替えるので、GGUF の tokenizer.ggml.tokens も llama2.c の tokenizer.bin が変換済みで持つピースもそのまま渡せます。バイトフォールバックのピース <0x00>..<0xFF> は位置ではなく名前で引きます。