Probabilistic Contrastive Learning Recovers the Correct Aleatoric Uncertainty of Ambiguous Inputs

要約

対照的にトレーニングされたエンコーダは、データ生成プロセスを逆転させることが最近証明されました。つまり、各入力、たとえば画像を、その画像を生成した真の潜在ベクトルにエンコードします (Zimmermann et al., 2021)。
ただし、現実世界の観察には固有のあいまいさが含まれることがよくあります。
たとえば、画像がぼやけていたり、3D オブジェクトの 2D ビューしか表示されなかったりする場合があるため、複数の潜在によってそれらが生成された可能性があります。
これにより、潜在ベクトルの真の事後分布は不均一分散的な不確実性を伴う確率的になります。
この設定では、共通の InfoNCE 目標とエンコーダを拡張して、点ではなく潜在分布を予測します。
我々は、これらの分布が、潜在空間の回転までの偶発的不確実性のレベルを含む、データ生成プロセスの正確な事後を回復することを証明します。
これらの事後分布は、校正された不確実性推定値を提供することに加えて、画像検索における信頼区間の計算を可能にします。
それらは、不確実性の影響を受けながら、特定のクエリと同じ潜在力を持つ画像で構成されます。
コードは https://github.com/mkirchhof/Probabilistic_Contrastive_Learning で入手できます。

要約(オリジナル)

Contrastively trained encoders have recently been proven to invert the data-generating process: they encode each input, e.g., an image, into the true latent vector that generated the image (Zimmermann et al., 2021). However, real-world observations often have inherent ambiguities. For instance, images may be blurred or only show a 2D view of a 3D object, so multiple latents could have generated them. This makes the true posterior for the latent vector probabilistic with heteroscedastic uncertainty. In this setup, we extend the common InfoNCE objective and encoders to predict latent distributions instead of points. We prove that these distributions recover the correct posteriors of the data-generating process, including its level of aleatoric uncertainty, up to a rotation of the latent space. In addition to providing calibrated uncertainty estimates, these posteriors allow the computation of credible intervals in image retrieval. They comprise images with the same latent as a given query, subject to its uncertainty. Code is available at https://github.com/mkirchhof/Probabilistic_Contrastive_Learning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google