Skip to main content

DEFAULT_DUAL_MAX_BATCH_CHUNK_SIZE

Constant DEFAULT_DUAL_MAX_BATCH_CHUNK_SIZE 

Source
pub const DEFAULT_DUAL_MAX_BATCH_CHUNK_SIZE: usize = 4;
Expand description

デュアルセッション推論における推奨デフォルト最大チャンクサイズ。

長文 State 特徴量のリピート展開による一時的なヒープメモリ確保スパイク(OOM Killer リスク) を抑制するため、 4 サンプル程度を推奨上限とする。