Expand description
§高速トークナイザー統合モジュール
Hugging Face tokenizers クレートをラップし、tokenizer.json のロード、
特殊トークンおよび [OP] マーカーの検証、State 優先トランケーション (State-Priority Truncation)、
ならびに ONNX Runtime 入力用テンソルバッファの高速生成を行う。
Re-exports§
pub use batch::BatchTokenizedQuestions;
Modules§
Structs§
- JevTokenizer
- Jev システム用高速トークナイザー。
- Tokenized
Question - 単一の質問に対するトークナイズ結果構造体。