tokenizer:token-id

(tokenizer:token-id tk token)

トークン文字列 token の id を返します。語彙にそのトークンがなければ nil です。引数は tokenizer:token-string が返すのと同じバイトレベル表記です。同じ文字列が複数の id に現れる語彙では、参照実装と同じく最小の id を採ります。