Regularization Through Simultaneous Learning: A Case Study on Plant Classification

要約

ディープ ニューラル ネットワークにおけるオーバーフィッティングという一般的な課題に対処するために、この論文では、転移学習とマルチタスク学習の原理を利用した正則化アプローチである同時学習を紹介します。
ターゲット データセットである UFOP-HVD とともに補助データセットを活用し、グループ間ペナルティを特徴とするカスタマイズされた損失関数に基づいて同時分類を促進します。
この実験的な構成により、類似 (PlantNet) ドメインと異なる (ImageNet) ドメインにわたるモデルのパフォーマンスを詳細に検査できるため、畳み込みニューラル ネットワーク モデルの一般化可能性が高まります。
注目すべきことに、私たちのアプローチは、正則化を行わないモデルやドロップアウト正則化のみを適用するモデルよりも優れたパフォーマンスを示し、精度を 5 ～ 22 パーセント ポイント向上させます。
さらに、提案されたアプローチはドロップアウトと組み合わせることで一般化を改善し、UFOP-HVD 課題に対する最先端の結果を確保します。
この方法は、サンプル サイズが大幅に小さい場合でも効率が高いことを示しており、関連するタスクの範囲全体にわたってその幅広い適用可能性を示唆しています。
さらに、ネットワークの畳み込み層内のクラス特徴の相関関係を分析することで特徴の品質を評価するために、解釈可能性のアプローチが導入されています。
この研究の結果は、同時学習の有効性、特に補助データセットとターゲット データセットとの相互作用に関する、より深い洞察を提供します。

要約(オリジナル)

In response to the prevalent challenge of overfitting in deep neural networks, this paper introduces Simultaneous Learning, a regularization approach drawing on principles of Transfer Learning and Multi-task Learning. We leverage auxiliary datasets with the target dataset, the UFOP-HVD, to facilitate simultaneous classification guided by a customized loss function featuring an inter-group penalty. This experimental configuration allows for a detailed examination of model performance across similar (PlantNet) and dissimilar (ImageNet) domains, thereby enriching the generalizability of Convolutional Neural Network models. Remarkably, our approach demonstrates superior performance over models without regularization and those applying dropout regularization exclusively, enhancing accuracy by 5 to 22 percentage points. Moreover, when combined with dropout, the proposed approach improves generalization, securing state-of-the-art results for the UFOP-HVD challenge. The method also showcases efficiency with significantly smaller sample sizes, suggesting its broad applicability across a spectrum of related tasks. In addition, an interpretability approach is deployed to evaluate feature quality by analyzing class feature correlations within the network’s convolutional layers. The findings of this study provide deeper insights into the efficacy of Simultaneous Learning, particularly concerning its interaction with the auxiliary and target datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google