On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning

要約

（マルチモーダル）自己教師の表現学習のデータ予測タスクの連続ドメインに関する識別確率的モデリングを研究します。
各アンカーデータのパーティション関数の積分を計算するという課題に対処するために、堅牢なモンテカルロ統合のための複数の重要性サンプリング（MIS）手法を活用します。
この確率的モデリングフレームワーク内で、一般化エラー分析を実施して、自己教師の表現学習に対する現在のインフォンセベースの対照損失の制限を明らかにし、モンテカルロ統合のエラーを減らすことにより、より良いアプローチを開発するための洞察を導き出します。
この目的のために、凸の最適化を通じてMISに必要な条件付き確率密度の合計を近似するための新しいノンパラメトリック方法を提案し、自己監視表現学習のための新しい対照的な目的を生み出します。
さらに、提案された目標を解決するための効率的なアルゴリズムを設計します。
私たちのアルゴリズムを、対照的な画像言語の事前トレーニングタスクの代表的なベースラインと経験的に比較します。
CC3MおよびCC12Mデータセットの実験結果は、アルゴリズムの全体的なパフォーマンスを示しています。
私たちのコードは、https：//github.com/bokun-wang/nuclrで入手できます。

要約(オリジナル)

We study the discriminative probabilistic modeling on a continuous domain for the data prediction task of (multimodal) self-supervised representation learning. To address the challenge of computing the integral in the partition function for each anchor data, we leverage the multiple importance sampling (MIS) technique for robust Monte Carlo integration, which can recover InfoNCE-based contrastive loss as a special case. Within this probabilistic modeling framework, we conduct generalization error analysis to reveal the limitation of current InfoNCE-based contrastive loss for self-supervised representation learning and derive insights for developing better approaches by reducing the error of Monte Carlo integration. To this end, we propose a novel non-parametric method for approximating the sum of conditional probability densities required by MIS through convex optimization, yielding a new contrastive objective for self-supervised representation learning. Moreover, we design an efficient algorithm for solving the proposed objective. We empirically compare our algorithm to representative baselines on the contrastive image-language pretraining task. Experimental results on the CC3M and CC12M datasets demonstrate the superior overall performance of our algorithm. Our code is available at https://github.com/bokun-wang/NUCLR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google