Expand description
§ONNX Runtime 推論セッション管理モジュール
エクスポート済み ONNX モデルグラフのライフサイクル、入力テンソル整合性検証、 ゼロコピーテンソルバインド、およびセッションプールによる高並列フォワードパスを提供する。
Structs§
- Inference
Engine - スレッドセーフな ONNX Runtime 推論エンジン。
エクスポート済み ONNX モデルグラフのライフサイクル、入力テンソル整合性検証、 ゼロコピーテンソルバインド、およびセッションプールによる高並列フォワードパスを提供する。