Great Models Think Alike: Improving Model Reliability via Inter-Model Latent Agreement

要約

タイトル：Great Models Think Alike: Inter-Model Latent Agreementによるモデル信頼性の向上
要約：
– 深層学習法の実用的な展開には、機械学習の信頼性を高めることが重要である。
– 機械学習の信頼性に関する基本的な課題は、過信によりモデルが不確実になることが多いことである。
– 本論文では、モデルの信頼性を評価するために、モデルの潜在空間と「基礎モデル」の潜在空間の一致を測定する方法を提案する。
– しかし、異なる潜在空間の一致を測定することは難しく、任意の回転や異なる次元などの相違点がある。
– 本論文では、潜在空間の「近傍の一致度」を設計することで、この不整合問題を克服し、モデルの予測信頼性に関連していることがわかった。
– さらに、近傍の一致度をモデルの予測信頼性に後付けすることで、モデルの信頼性が大幅に向上することを示した。
– 各種データセットにおける失敗検出について、理論的分析および広範な実験により、本手法の有効性が確認された。

要約(オリジナル)

Reliable application of machine learning is of primary importance to the practical deployment of deep learning methods. A fundamental challenge is that models are often unreliable due to overconfidence. In this paper, we estimate a model’s reliability by measuring \emph{the agreement between its latent space, and the latent space of a foundation model}. However, it is challenging to measure the agreement between two different latent spaces due to their incoherence, \eg, arbitrary rotations and different dimensionality. To overcome this incoherence issue, we design a \emph{neighborhood agreement measure} between latent spaces and find that this agreement is surprisingly well-correlated with the reliability of a model’s predictions. Further, we show that fusing neighborhood agreement into a model’s predictive confidence in a post-hoc way significantly improves its reliability. Theoretical analysis and extensive experiments on failure detection across various datasets verify the effectiveness of our method on both in-distribution and out-of-distribution settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI