Skip to main content

decompress_int8_symmetric_to_f32

Function decompress_int8_symmetric_to_f32 

Source
pub fn decompress_int8_symmetric_to_f32(
    src: &[i8],
    scales: &[f32],
    hidden_size: usize,
    dst: &mut [f32],
)
Expand description

トークン単位対称 INT8 スライスを f32 スライスへ展開する。

§引数

  • src: 量子化データスライス。
  • scales: 各トークンのスケールスライス。
  • hidden_size: 隠れ層次元数。
  • dst: 出力先 f32 スライス。