Skip to main content

state_batch_handler

Function state_batch_handler 

Source
pub async fn state_batch_handler(
    __arg0: State<Arc<AppState>>,
    headers: HeaderMap,
    __arg2: Json<StateBatchRequest>,
) -> Result<impl IntoResponse, ServerError>
Expand description

単一 State に対する一括バッチ質問推論エンドポイント。

共通 State を 1 回のみエンコード (またはキャッシュ取得) し、 全質問をプレフィックス共有バッチ化して一括評価する。