Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning

要約

ニューラル ネットワークのアンサンブルは、モデルのパフォーマンスを向上させ、不確実性を推定し、深層教師あり学習の堅牢性を向上させるためのアプローチとして広く認識されています。
ただし、ディープ アンサンブルには、多くの場合、高い計算コストとメモリ要求が伴います。
さらに、ディープ アンサンブルの効率はアンサンブル メンバー間の多様性に関連しており、大規模でパラメーター化が過剰なディープ ニューラル ネットワークにとっては困難です。
さらに、アンサンブル学習はまだそれほど広く普及しておらず、自己教師ありまたは教師なしの表現学習にとっては依然として困難な取り組みです。
これらの課題を動機として、私たちは、多様性を促進するように設計された新しい損失関数によって補完された、独立したサブネットワークのアンサンブルを活用する、新しい自己監視型トレーニング体制を提案します。
私たちの方法は、多様性の高いサブモデル アンサンブルを効率的に構築し、モデルの不確実性の適切に校正された推定値を導きます。これらはすべて、従来の深い自己教師ありアンサンブルと比較して最小限の計算オーバーヘッドで達成されます。
私たちのアプローチの有効性を評価するために、分布内の一般化、分布外の検出、データセットの破損、半監視設定など、さまざまなタスクにわたって広範な実験を実施しました。
結果は、私たちの方法が予測の信頼性を大幅に向上させることを示しています。
私たちのアプローチは、優れた精度を実現するだけでなく、キャリブレーションを強化し、コンピューター ビジョン、自然言語処理、ゲノミクス データにおける幅広い自己教師ありアーキテクチャ全体でベースライン パフォーマンスを上回ります。

要約(オリジナル)

Ensembling a neural network is a widely recognized approach to enhance model performance, estimate uncertainty, and improve robustness in deep supervised learning. However, deep ensembles often come with high computational costs and memory demands. In addition, the efficiency of a deep ensemble is related to diversity among the ensemble members which is challenging for large, over-parameterized deep neural networks. Moreover, ensemble learning has not yet seen such widespread adoption, and it remains a challenging endeavor for self-supervised or unsupervised representation learning. Motivated by these challenges, we present a novel self-supervised training regime that leverages an ensemble of independent sub-networks, complemented by a new loss function designed to encourage diversity. Our method efficiently builds a sub-model ensemble with high diversity, leading to well-calibrated estimates of model uncertainty, all achieved with minimal computational overhead compared to traditional deep self-supervised ensembles. To evaluate the effectiveness of our approach, we conducted extensive experiments across various tasks, including in-distribution generalization, out-of-distribution detection, dataset corruption, and semi-supervised settings. The results demonstrate that our method significantly improves prediction reliability. Our approach not only achieves excellent accuracy but also enhances calibration, surpassing baseline performance across a wide range of self-supervised architectures in computer vision, natural language processing, and genomics data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google