Fine-Grained Uncertainty Quantification via Collisions

要約

アレアトリック不確実性定量化（UQ）のための新しい直感的なメトリックを提案します。これは、異なるクラスで観察されている同じ入力として定義されたクラス衝突の有病率です。
クラス衝突の速度を使用して、衝突マトリックスを定義します。これは、斬新でユニークに微調整された不確実性の尺度です。
$ k $クラスを含む分類問題の場合、$ k \ Times K $ Collision Matrix $ s $は、各クラスのペアを区別するという固有の難易度を測定します。
衝突マトリックスのいくつかのアプリケーションについて説明し、その基本的な数学的特性を確立し、ベイズエラー率（BER）を含む既存のUQメソッドとの関係を示します。
また、$ s $を推定するための一連の革新的な手法を提案することにより、1つのホットラベル付きデータを使用して衝突マトリックスを推定するという新しい問題に対処します。
まず、2つの入力を受け入れ、それらが同じクラスに属しているかどうかを判断するペアワイズコントラストモデルを学習します。
次に、この対照的なモデル（PAC学習可能）を使用して、$ g = s^ts $として定義される$ s $のグラミアンマトリックスを推定できることを示します。
最後に、合理的な仮定の下で、$ g $を使用して$ s $を一意に回収できることを示します。
確立された$ s $を推定する方法により、この$ s $の推定値は、対照的なモデルと組み合わせて、任意のポイントの後部クラスの移植性分布を推定する方法を示します。
また、いくつかのデータセットで衝突マトリックスとクラスの事後分布を推定する方法を検証するために、実験結果も提示されています。

要約(オリジナル)

We propose a new and intuitive metric for aleatoric uncertainty quantification (UQ), the prevalence of class collisions defined as the same input being observed in different classes. We use the rate of class collisions to define the collision matrix, a novel and uniquely fine-grained measure of uncertainty. For a classification problem involving $K$ classes, the $K\times K$ collision matrix $S$ measures the inherent difficulty in distinguishing between each pair of classes. We discuss several applications of the collision matrix, establish its fundamental mathematical properties, as well as show its relationship with existing UQ methods, including the Bayes error rate (BER). We also address the new problem of estimating the collision matrix using one-hot labeled data by proposing a series of innovative techniques to estimate $S$. First, we learn a pair-wise contrastive model which accepts two inputs and determines if they belong to the same class. We then show that this contrastive model (which is PAC learnable) can be used to estimate the Gramian matrix of $S$, defined as $G=S^TS$. Finally, we show that under reasonable assumptions, $G$ can be used to uniquely recover $S$, a new result on non-negative matrices which could be of independent interest. With a method to estimate $S$ established, we demonstrate how this estimate of $S$, in conjunction with the contrastive model, can be used to estimate the posterior class portability distribution of any point. Experimental results are also presented to validate our methods of estimating the collision matrix and class posterior distributions on several datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google