tokenizer パッケージの関数

tokenizer パッケージは、公開されている言語モデルが同梱している BPE トークナイザ です。SmolLM2、Qwen 2.5 / 3 / 3.5、Llama 3、LFM2.5 が使う GPT-2 形式の バイトレベル BPE と、Llama 2 と TinyLlama が使うピースごとのスコア付き SentencePiece 形式の BPE を、ひとつの tokenizer:encode / tokenizer:decode の 背後に置いています。rontolisp 自身で書かれており、linalg や geom と同じく最初の 使用時に読み込まれます。

Common Lisp の一部ではありません。名前は tokenizer: 修飾子で参照します。 標準パッケージ以外には何も依存せず、語彙は常に引数であって、このパッケージが ファイルを開くことはありません。そのためすべてのバックエンドとブラウザの プレイグラウンドで動き、語彙の出どころも問いません（GGUF の tokenizer.ggml.tokens / merges、tokenizer.json の vocab / merges、 手で書いたフィクスチャのいずれでも構いません）。