Energy-based Automated Model Evaluation

要約

機械学習モデルの従来の評価プロトコルは、ラベル付けされた i.i.d 想定のテスト データセットに大きく依存していますが、これは現実世界のアプリケーションにはあまり存在しません。
自動モデル評価 (AutoEval) は、グラウンド トゥルース ラベルを使用せずにテスト パフォーマンスの近似予測パイプラインを形成することで、この従来のワークフローに代わる方法を示します。
最近の成功にもかかわらず、AutoEval フレームワークは依然として過信の問題、膨大なストレージと計算コストに悩まされています。
この点に関して、私たちは、AutoEval フレームワークをより効率的かつ効果的にできる新しい手段であるメタディストリビューション エネルギー (MDE) を提案します。
MDE の中核は、個々のサンプルに関連付けられた情報 (エネルギー) に関するメタ分布統計を確立し、エネルギーベースの学習によって可能になるより滑らかな表現を提供することです。
さらに、MDE を分類損失と結び付けることで、理論的な洞察を提供します。
私たちは、モダリティ、データセット、さまざまなアーキテクチャ バックボーンにわたる広範な実験を提供して、MDE の有効性と、以前のアプローチと比較したその優位性を検証します。
また、大規模モデルとのシームレスな統合、およびノイズの多いラベルや不均衡なラベルを含む学習シナリオへの容易な適応を示すことで、MDE の多用途性も証明します。

要約(オリジナル)

The conventional evaluation protocols on machine learning models rely heavily on a labeled, i.i.d-assumed testing dataset, which is not often present in real world applications. The Automated Model Evaluation (AutoEval) shows an alternative to this traditional workflow, by forming a proximal prediction pipeline of the testing performance without the presence of ground-truth labels. Despite its recent successes, the AutoEval frameworks still suffer from an overconfidence issue, substantial storage and computational cost. In that regard, we propose a novel measure — Meta-Distribution Energy (MDE) — that allows the AutoEval framework to be both more efficient and effective. The core of the MDE is to establish a meta-distribution statistic, on the information (energy) associated with individual samples, then offer a smoother representation enabled by energy-based learning. We further provide our theoretical insights by connecting the MDE with the classification loss. We provide extensive experiments across modalities, datasets and different architectural backbones to validate MDE’s validity, together with its superiority compared with prior approaches. We also prove MDE’s versatility by showing its seamless integration with large-scale models, and easy adaption to learning scenarios with noisy- or imbalanced- labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google