Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference

要約

時系列データが与えられた場合、「将来何が起こるか?」といった質問にどのように答えることができますか?
そして「どうやってここに来たの？」
観察が高次元である場合、この種の確率的推論の問題は困難です。
この論文では、学習された表現の観点から、これらの質問がどのようにしてコンパクトな閉じた形式の解決策を得ることができるかを示します。
重要なアイデアは、対照学習の変形を時系列データに適用することです。
以前の研究では、対照学習によって学習された表現が確率比をエンコードすることがすでに示されています。
以前の研究を拡張して表現上の周辺分布がガウス分布であることを示すことで、表現の結合分布もガウス分布であることを証明できます。
まとめると、これらの結果は、時間対比学習によって学習された表現が、表現に対する推論 (予測、計画など) が低次元行列の反転に対応するグラフィカル モデルであるガウス-マルコフ連鎖に従うことを示しています。
1 つの特殊なケースでは、中間表現の推論は、学習された表現の間を補間することと同じになります。
最大 46 次元のタスクに関する数値シミュレーションを使用して理論を検証します。

要約(オリジナル)

Given time series data, how can we answer questions like ‘what will happen in the future?’ and ‘how did we get here?’ These sorts of probabilistic inference questions are challenging when observations are high-dimensional. In this paper, we show how these questions can have compact, closed form solutions in terms of learned representations. The key idea is to apply a variant of contrastive learning to time series data. Prior work already shows that the representations learned by contrastive learning encode a probability ratio. By extending prior work to show that the marginal distribution over representations is Gaussian, we can then prove that joint distribution of representations is also Gaussian. Taken together, these results show that representations learned via temporal contrastive learning follow a Gauss-Markov chain, a graphical model where inference (e.g., prediction, planning) over representations corresponds to inverting a low-dimensional matrix. In one special case, inferring intermediate representations will be equivalent to interpolating between the learned representations. We validate our theory using numerical simulations on tasks up to 46-dimensions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google