EXACT: How to Train Your Accuracy

要約

分類タスクは通常、精度の観点から評価されます。
ただし、精度は不連続であり、勾配上昇を使用して直接最適化することはできません。
一般的な方法では、次善の結果につながる可能性のあるクロスエントロピー、ヒンジ損失、またはその他の代用損失を最小限に抑えます。
この論文では、モデルの出力に確率性を導入し、期待される精度、つまり確率モデルの精度を最適化することにより、新しい最適化フレームワークを提案します。
線形モデルと深層画像分類に関する広範な実験により、提案された最適化手法が広く使用されている分類損失に対する強力な代替手段であることが示されています。

要約(オリジナル)

Classification tasks are usually evaluated in terms of accuracy. However, accuracy is discontinuous and cannot be directly optimized using gradient ascent. Popular methods minimize cross-entropy, hinge loss, or other surrogate losses, which can lead to suboptimal results. In this paper, we propose a new optimization framework by introducing stochasticity to a model’s output and optimizing expected accuracy, i.e. accuracy of the stochastic model. Extensive experiments on linear models and deep image classification show that the proposed optimization method is a powerful alternative to widely used classification losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google