Reduction of Class Activation Uncertainty with Background Information

要約

マルチタスク学習は、一般化が改善された高性能ニューラル ネットワークをトレーニングするための一般的なアプローチです。
この論文では、計算能力が限られている研究者や組織を支援するために、マルチタスク学習と比較してより低い計算量で改善された一般化を達成するバックグラウンド クラスを提案します。
また、背景画像を選択する方法を紹介し、将来の改善の可能性についても説明します。
私たちはアプローチをいくつかのデータセットに適用し、はるかに少ない計算量で改善された一般化を達成しました。
また、トレーニングされたモデルのクラス アクティベーション マッピング (CAM) も調査し、提案されたモデル トレーニング方法論を使用したいくつかのクラス分類問題で全体像を見る傾向が観察されました。
提案されたバックグラウンド クラスでトランスフォーマーを適用すると、STL-10、Caltech-101、および CINIC-10 データセットで最先端 (SOTA) のパフォーマンスが得られます。
サンプル スクリプトは、GitHub リポジトリの「CAM」フォルダーで入手できます: github.com/dipuk0506/UQ

要約(オリジナル)

Multitask learning is a popular approach to training high-performing neural networks with improved generalization. In this paper, we propose a background class to achieve improved generalization at a lower computation compared to multitask learning to help researchers and organizations with limited computation power. We also present a methodology for selecting background images and discuss potential future improvements. We apply our approach to several datasets and achieved improved generalization with much lower computation. We also investigate class activation mappings (CAMs) of the trained model and observed the tendency towards looking at a bigger picture in a few class classification problems with the proposed model training methodology. Applying transformer with the proposed background class, we receive state-of-the-art (SOTA) performance on STL-10, Caltech-101, and CINIC-10 datasets. Example scripts are available in the `CAM’ folder of the following GitHub Repository: github.com/dipuk0506/UQ

arxiv情報

提供元, 利用サービス

arxiv.jp, Google