Constructing Bayesian Pseudo-Coresets using Contrastive Divergence

要約

Bayesian Pseudo-Coreset (BPC) と Dataset Condensation は、合成セットを構築する 2 つの並列作業ストリームであり、この合成セットで個別にトレーニングされたモデルは、元のトレーニング セットでのトレーニングと同じパフォーマンスをもたらします。
データセット圧縮法は非ベイジアンのヒューリスティックな方法を使用してこのような合成セットを構築しますが、BPC 法はベイジアン アプローチを採用し、元のデータと合成データに関連付けられた事後分布間の発散最小化として問題を定式化します。
ただし、BPC 法は一般に、これらの事後分布に関する仮定に依存しているため、柔軟性が低くなり、パフォーマンスが低下します。
この作業では、エネルギーベースの分布によって合成データに関連付けられた事後をモデル化することにより、これらの問題を解決することを提案します。
対照的な発散のような損失関数を導出して合成セットを学習し、この損失を推定する簡単で効率的な方法を示します。
さらに、提案手法に関する厳密な実験を行います。
複数のデータセットでの実験では、提案された方法が以前の BPC 方法よりも優れているだけでなく、対応するデータセットの凝縮に匹敵するパフォーマンスも提供することが示されています。

要約(オリジナル)

Bayesian Pseudo-Coreset (BPC) and Dataset Condensation are two parallel streams of work that construct a synthetic set such that, a model trained independently on this synthetic set, yields the same performance as training on the original training set. While dataset condensation methods use non-bayesian, heuristic ways to construct such a synthetic set, BPC methods take a bayesian approach and formulate the problem as divergence minimization between posteriors associated with original data and synthetic data. However, BPC methods generally rely on distributional assumptions on these posteriors which makes them less flexible and hinders their performance. In this work, we propose to solve these issues by modeling the posterior associated with synthetic data by an energy-based distribution. We derive a contrastive-divergence-like loss function to learn the synthetic set and show a simple and efficient way to estimate this loss. Further, we perform rigorous experiments pertaining to the proposed method. Our experiments on multiple datasets show that the proposed method not only outperforms previous BPC methods but also gives performance comparable to dataset condensation counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google