Expand description
§コンテキスト縮約・ノイズ除去モジュール (Anti-Context Rot)
連続する過剰な空白・改行、不可視のゼロ幅スペース、同一ログ行の極端な繰り返しを圧縮し、 トークン長バジェット (最大系列長) を有効活用するためのテキスト正規化を提供する。
Structs§
- Compactor
Config - コンテキスト縮約設定構造体。
Functions§
- compact_
text - テキストのコンテキスト縮約およびノイズ除去を実行する。
連続する過剰な空白・改行、不可視のゼロ幅スペース、同一ログ行の極端な繰り返しを圧縮し、 トークン長バジェット (最大系列長) を有効活用するためのテキスト正規化を提供する。