ECHO: Efficient Dataset Condensation by Higher-Order Distribution Alignment

要約

ディープラーニングの時代では、ディープ ニューラル ネットワークのトレーニングには大量のデータが必要になることが多く、多額のコストがかかります。
データセットの圧縮は、元の大規模データセットからの重要な情報を保存する小さな合成セットを学習することでこの問題に対処します。
現在、最適化指向の手法は、最先端 (SOTA) の結果を得るためにデータセットの圧縮で主流を占めていますが、計算集約的な 2 レベルの最適化により、大規模なデータセットの実用性が妨げられています。
効率を高めるための代替ソリューションとして、分布マッチング (DM) ベースの手法を使用して、実際の例と合成例の表現分布を調整することでコストを削減します。
ただし、現在の DM ベースの手法では、依然として SOTA 最適化指向の手法に匹敵する結果が得られません。
この論文では、既存の DM ベースの手法は分布の高次の位置合わせを見落としており、それが次善のマッチング結果につながる可能性があると主張します。
これに触発されて、私たちは、高次分布アライメント (ECHO) による効率的なデータセット圧縮という名前の新しい DM ベースの手法を提案します。
具体的には、これまでの手法のように表現分布の一次モーメントを整列させるだけではなく、カーネルヒルベルト空間を再現する古典理論に基づいて実例と合成例の表現分布の高次モーメントをさらに整列させることで合成例を学習します。
。
実験では、提案された方法がさまざまなシナリオにわたって効率を維持しながら大幅なパフォーマンス向上を達成することを実証しています。

要約(オリジナル)

In the era of deep learning, training deep neural networks often requires extensive data, leading to substantial costs. Dataset condensation addresses this by learning a small synthetic set that preserves essential information from the original large-scale dataset. Nowadays, optimization-oriented methods dominate dataset condensation for state-of-the-art (SOTA) results, but their computationally intensive bi-level optimization hinders practicality with large datasets. To enhance efficiency, as alternative solutions, Distribution-Matching (DM)-based methods reduce costs by aligning the representation distributions of real and synthetic examples. However, current DM-based methods still yield less comparable results to SOTA optimization-oriented methods. In this paper, we argue that existing DM-based methods overlook the higher-order alignment of the distributions, which may lead to sub-optimal matching results. Inspired by this, we propose a new DM-based method named as Efficient Dataset Condensation by Higher-Order Distribution Alignment (ECHO). Specifically, rather than only aligning the first-order moment of the representation distributions as previous methods, we learn synthetic examples via further aligning the higher-order moments of the representation distributions of real and synthetic examples based on the classical theory of reproducing kernel Hilbert space. Experiments demonstrate the proposed method achieves a significant performance boost while maintaining efficiency across various scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google