Module pool 

ロックフリーセッション借用プールモジュール

Tokio 非同期タスクとブロッキング推論スレッド間のセッション借用を crossbeam_queue::ArrayQueue と tokio::sync::Semaphore でロックフリーに制御する。

Structs

LowLatencyResourcePool

ロックフリーなリソース借用プール。

PooledResource

借用中のリソースを保持する RAII ガード。

Enums

PoolError

プール借用時のエラー型。

Type Aliases

LowLatencySessionPool

ONNX Runtime セッション専用の低遅延借用プール型エイリアス。

PooledSession

借用済み ONNX Runtime セッション型エイリアス。