Skip to main content

compress_f32_to_int8_symmetric

Function compress_f32_to_int8_symmetric 

Source
pub fn compress_f32_to_int8_symmetric(
    src: &[f32],
    hidden_size: usize,
) -> (Vec<i8>, Vec<f32>)
Expand description

f32 スライスをトークン単位対称 INT8 へ圧縮する。

各トークンベクトル(長さ hidden_size)ごとに最大絶対値 $M = \max |x|$ を算出し、 スケール $s = M / 127.0$ を用いて対称量子化を行う。

§引数

  • src: 入力 f32 スライス。
  • hidden_size: 隠れ層次元数。