$f$-Divergence Based Classification: Beyond the Use of Cross-Entropy

要約

深層学習では、分類タスクは最適化問題として形式化され、多くの場合、クロスエントロピーの最小化によって解決されます。
ただし、目的関数の設計における最近の進歩により、$f$-divergence を使用して分類のための最適化問題の定式化を一般化できるようになりました。
ベイジアンの観点を採用し、分類タスクを最大事後確率問題として定式化します。
$f$ダイバージェンスの変分表現に基づいた目的関数のクラスを提案します。
さらに、最先端のアプローチを改善するという課題に突き動かされて、シフトログと呼ばれる新しい $f$ 発散に対応する目的関数の定式化につながるボトムアップ手法を提案します (
SL）。
提案された目的関数を理論的に分析し、玩具の例、画像データセット、信号検出/復号化問題という 3 つのアプリケーション シナリオで数値的にテストします。
分析されたシナリオは、提案されたアプローチの有効性と、考慮されたほぼすべてのケースで SL 発散が最高の分類精度を達成することを示しています。

要約(オリジナル)

In deep learning, classification tasks are formalized as optimization problems often solved via the minimization of the cross-entropy. However, recent advancements in the design of objective functions allow the usage of the $f$-divergence to generalize the formulation of the optimization problem for classification. We adopt a Bayesian perspective and formulate the classification task as a maximum a posteriori probability problem. We propose a class of objective functions based on the variational representation of the $f$-divergence. Furthermore, driven by the challenge of improving the state-of-the-art approach, we propose a bottom-up method that leads us to the formulation of an objective function corresponding to a novel $f$-divergence referred to as shifted log (SL). We theoretically analyze the objective functions proposed and numerically test them in three application scenarios: toy examples, image datasets, and signal detection/decoding problems. The analyzed scenarios demonstrate the effectiveness of the proposed approach and that the SL divergence achieves the highest classification accuracy in almost all the considered cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google