Skip to main content

compute_free_energy

Function compute_free_energy 

Source
pub fn compute_free_energy(logits: &[f64], temperature: f64) -> f64
Expand description

二値分類マルチタスクにおけるヘルムホルツ自由エネルギーを計算する。

各タスク $k$ の二値決定状態 ${0, 1}$ (未正規化ロジット $[-z_k/2, z_k/2]$) に対する全自由エネルギーを算出する。 確信度が高い ($|z_k|$ が大きい) ほど自由エネルギーは低くなり、 判断が曖昧または不確実な異常入力 ($z_k \approx 0$) では自由エネルギーが上昇する。

$$F(x; T) = -T \sum_{k=1}^K \ln \left( \exp\left(\frac{z_k}{2T}\right) + \exp\left(-\frac{z_k}{2T}\right) \right)$$