EXACT: How to Train Your Accuracy

要約

分類タスクは通常、精度の観点から評価されます。
ただし、精度は不連続であり、勾配上昇を使用して直接最適化することはできません。
一般的な方法では、クロスエントロピー、ヒンジ損失、またはその他の代理損失が最小限に抑えられ、最適ではない結果につながる可能性があります。
この論文では、モデルの出力に確率論を導入し、期待される精度、つまり確率モデルの精度を最適化することにより、新しい最適化フレームワークを提案します。
線形モデルと深い画像分類に関する広範な実験により、提案された最適化手法が、広く使用されている分類損失の強力な代替手段であることが示されています。

要約(オリジナル)

Classification tasks are usually evaluated in terms of accuracy. However, accuracy is discontinuous and cannot be directly optimized using gradient ascent. Popular methods minimize cross-entropy, hinge loss, or other surrogate losses, which can lead to suboptimal results. In this paper, we propose a new optimization framework by introducing stochasticity to a model’s output and optimizing expected accuracy, i.e. accuracy of the stochastic model. Extensive experiments on linear models and deep image classification show that the proposed optimization method is a powerful alternative to widely used classification losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google