Leveraging Hierarchical Feature Sharing for Efficient Dataset Condensation

要約

現実世界のデータセットを前提として、データ圧縮 (DC) は、高いパフォーマンスでモデルをトレーニングするために、このデータセットの知識をキャプチャする大幅に小さいデータセットを合成することを目的としています。
最近の研究では、データをピクセル空間ではなくパラメータ化されたデータ コンテナに凝縮するデータ パラメータ化によって DC を強化することが提案されています。
データのパラメーター化の背後にある直感は、追加のストレージ コストを回避するために画像の共有特徴をエンコードすることです。
この論文では、現在のデータパラメータ化手法では見落とされている分類システムの固有の階層構造により、画像が階層的な方法で共通の特徴を共有していることを認識しています。
DC をこの階層的な性質とより適切に調整し、データ コンテナ内でのより効率的な情報共有を促進するために、新しいデータ パラメータ化アーキテクチャである階層メモリ ネットワーク (HMN) を提案します。
HMN は、データセット レベル、クラス レベル、インスタンス レベルの機能を表す 3 層構造で圧縮データを保存します。
階層アーキテクチャのもう 1 つの有益な特性は、HMN が情報共有を実現しているにもかかわらず、画像間の良好な独立性を自然に確保していることです。
これにより、HMN のインスタンス レベルのプルーニングが可能になり、冗長な情報が削減されるため、冗長性がさらに最小限に抑えられ、パフォーマンスが向上します。
4 つの公開データセット (SVHN、CIFAR10、CIFAR100、Tiny-ImageNet) で HMN を評価し、HMN を 8 つの DC ベースラインと比較します。
評価結果は、GPU メモリの消費量が少ないバッチベースの損失でトレーニングされた場合でも、提案された手法がすべてのベースラインを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Given a real-world dataset, data condensation (DC) aims to synthesize a significantly smaller dataset that captures the knowledge of this dataset for model training with high performance. Recent works propose to enhance DC with data parameterization, which condenses data into parameterized data containers rather than pixel space. The intuition behind data parameterization is to encode shared features of images to avoid additional storage costs. In this paper, we recognize that images share common features in a hierarchical way due to the inherent hierarchical structure of the classification system, which is overlooked by current data parameterization methods. To better align DC with this hierarchical nature and encourage more efficient information sharing inside data containers, we propose a novel data parameterization architecture, Hierarchical Memory Network (HMN). HMN stores condensed data in a three-tier structure, representing the dataset-level, class-level, and instance-level features. Another helpful property of the hierarchical architecture is that HMN naturally ensures good independence among images despite achieving information sharing. This enables instance-level pruning for HMN to reduce redundant information, thereby further minimizing redundancy and enhancing performance. We evaluate HMN on four public datasets (SVHN, CIFAR10, CIFAR100, and Tiny-ImageNet) and compare HMN with eight DC baselines. The evaluation results show that our proposed method outperforms all baselines, even when trained with a batch-based loss consuming less GPU memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google