Skip to main content

sanitize_text

Function sanitize_text 

Source
pub fn sanitize_text<'a>(
    text: &'a str,
    config: &SanitizerConfig,
) -> Cow<'a, str>
Expand description

入力テキスト中の特殊トークンおよびプロンプト境界偽装を安全にサニタイズする。

§処理方針

  • 該当文字を含まない正常ケースでは Cow::Borrowed のまま早期脱出し、ヒープ確保を回避する。
  • [OP] などの予約トークンは [ OP ] のようにスペースを挿入して無害化し、Fast Tokenizer による誤解釈を防ぐ。
  • 行頭の State: や Instructions: は State: のようにスペースを付加してデリミタ誤認を防止する。