Next Generation Loss Function for Image Classification

要約

ニューラル ネットワークは、予測されたモデル出力とターゲット値の間の差異を定義する損失関数を最小化することによってトレーニングされます。
損失関数の選択は、タスク固有の動作を実現するために重要であり、モデルの機能に大きく影響します。
トレーニングやモデルのパフォーマンスに影響を与える幅広いタスクに対して、さまざまな損失関数が提案されています。
分類タスクでは、クロス エントロピーが事実上の標準であり、通常は最初の選択肢になります。
ここでは、集団ベースの進化アルゴリズムである遺伝的プログラミング (GP) アプローチを利用して、クロス エントロピー (CE) 損失を含むよく知られた損失関数に実験的に挑戦することを試みます。
GP は演算子とリーフ ノードのセットから損失関数を構築し、これらの関数は最適な構造を見つけるために繰り返し再結合および変更されます。
実験は、インセプション モデルを使用して、さまざまな小規模データセット CIFAR-10、CIFAR-100、および Fashion-MNIST に対して実行されました。
見つかった 5 つの最良の関数は、2 ～ 102 クラスの範囲で非常に異なるサイズの標準データセットのセットで、さまざまなモデル アーキテクチャに対して評価されました。
Next Generation Loss (NGL) と呼ばれる 1 つの関数は、テストされたすべてのデータセットで CE と比較して同等以上のパフォーマンスを示し、明らかに目立っていました。
大規模なデータセットで NGL 関数を評価するために、Imagenet-1k データセットでそのパフォーマンスをテストしました。そこでは、同一の設定やその他の損失でトレーニングされたモデルと比較して、トップ 1 の精度が向上していることがわかりました。
最後に、NGL は Pascal VOC 2012 および COCO-Stuff164k データセットのセグメンテーション ダウンストリーム タスクでトレーニングされ、基礎となるモデルのパフォーマンスが向上しました。

要約(オリジナル)

Neural networks are trained by minimizing a loss function that defines the discrepancy between the predicted model output and the target value. The selection of the loss function is crucial to achieve task-specific behaviour and highly influences the capability of the model. A variety of loss functions have been proposed for a wide range of tasks affecting training and model performance. For classification tasks, the cross entropy is the de-facto standard and usually the first choice. Here, we try to experimentally challenge the well-known loss functions, including cross entropy (CE) loss, by utilizing the genetic programming (GP) approach, a population-based evolutionary algorithm. GP constructs loss functions from a set of operators and leaf nodes and these functions are repeatedly recombined and mutated to find an optimal structure. Experiments were carried out on different small-sized datasets CIFAR-10, CIFAR-100 and Fashion-MNIST using an Inception model. The 5 best functions found were evaluated for different model architectures on a set of standard datasets ranging from 2 to 102 classes and very different sizes. One function, denoted as Next Generation Loss (NGL), clearly stood out showing same or better performance for all tested datasets compared to CE. To evaluate the NGL function on a large-scale dataset, we tested its performance on the Imagenet-1k dataset where it showed improved top-1 accuracy compared to models trained with identical settings and other losses. Finally, the NGL was trained on a segmentation downstream task for Pascal VOC 2012 and COCO-Stuff164k datasets improving the underlying model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google