$f$-Divergence Based Classification: Beyond the Use of Cross-Entropy

要約

深層学習では、分類タスクは、クロスエントロピーの最小化によって解決される最適化問題として形式化されます。
しかし、目的関数の設計における最近の進歩により、$f$-divergence 尺度が分類のための最適化問題の定式化を一般化できるようになりました。
この目標を念頭に置いて、ベイジアンの観点を採用し、分類タスクを最大事後確率問題として定式化します。
$f$-divergence の変分表現に基づいた目的関数のクラスを提案し、そこからよく知られた $f$-divergence を活用した 5 つの事後確率推定量のリストを抽出します。
さらに、最先端のアプローチを改善するという課題に突き動かされて、新しい $f$ に対応する新しい目的関数 (および事後確率推定量) の定式化につながるボトムアップ手法を提案します。
-発散はシフトログ(SL)と呼ばれます。
まず、事後確率推定量の収束特性を理論的に証明します。
次に、玩具の例、画像データ セット、信号検出/復号化問題という 3 つのアプリケーション シナリオで、提案された目的関数のセットを数値的にテストします。
分析されたタスクは、提案された推定量の有効性と、SL 発散がほぼすべてのシナリオで最高の分類精度を達成することを示しています。

要約(オリジナル)

In deep learning, classification tasks are formalized as optimization problems solved via the minimization of the cross-entropy. However, recent advancements in the design of objective functions allow the $f$-divergence measure to generalize the formulation of the optimization problem for classification. With this goal in mind, we adopt a Bayesian perspective and formulate the classification task as a maximum a posteriori probability problem. We propose a class of objective functions based on the variational representation of the $f$-divergence, from which we extract a list of five posterior probability estimators leveraging well-known $f$-divergences. In addition, driven by the challenge of improving the state-of-the-art approach, we propose a bottom-up method that leads us to the formulation of a new objective function (and posterior probability estimator) corresponding to a novel $f$-divergence referred to as shifted log (SL). First, we theoretically prove the convergence property of the posterior probability estimators. Then, we numerically test the set of proposed objective functions in three application scenarios: toy examples, image data sets, and signal detection/decoding problems. The analyzed tasks demonstrate the effectiveness of the proposed estimators and that the SL divergence achieves the highest classification accuracy in almost all the scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google