Deep Companion Learning: Enhancing Generalization Through Historical Consistency

要約

私たちは、過去のパフォーマンスと比較して一貫性のないモデル予測にペナルティを課すことで汎化を強化する、ディープ ニューラル ネットワーク (DNN) の新しいトレーニング方法であるディープ コンパニオン学習 (DCL) を提案します。
これを達成するために、以前のバージョンのモデルを使用して新しい入力の予測を提供することにより、ディープ コンパニオン モデル (DCM) をトレーニングします。
このコンパニオン モデルは、データ内の意味のある潜在的な意味構造を解読し、それによってプライマリ モデルが最も困難であると判断したシナリオに対処するよう促す、対象を絞った監視を提供します。
当社は、理論分析と、多様なアーキテクチャ モデル (ShuffleNetV2、ResNet、Vision Transformer など) を使用したさまざまなベンチマーク データセット (CIFAR-100、Tiny-ImageNet、ImageNet-1K) に対するアブレーション研究を含む広範な実験の両方を通じてアプローチを検証します。
、最先端のパフォーマンスを実証します。

要約(オリジナル)

We propose Deep Companion Learning (DCL), a novel training method for Deep Neural Networks (DNNs) that enhances generalization by penalizing inconsistent model predictions compared to its historical performance. To achieve this, we train a deep-companion model (DCM), by using previous versions of the model to provide forecasts on new inputs. This companion model deciphers a meaningful latent semantic structure within the data, thereby providing targeted supervision that encourages the primary model to address the scenarios it finds most challenging. We validate our approach through both theoretical analysis and extensive experimentation, including ablation studies, on a variety of benchmark datasets (CIFAR-100, Tiny-ImageNet, ImageNet-1K) using diverse architectural models (ShuffleNetV2, ResNet, Vision Transformer, etc.), demonstrating state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google