RD-DPP: Rate-Distortion Theory Meets Determinantal Point Process to Diversify Learning Data Samples

要約

交通ビデオ分析などの一部の実践的な学習タスクでは、通信帯域幅や計算能力の制限など、さまざまな要因によって利用可能なトレーニング サンプルの数が制限されます。
決定点プロセス (DPP) は、学習の質を高めるために最も多様なサンプルを選択するための一般的な方法です。
ただし、選択されるサンプルの数は、データ サンプルの次元によって暗示されるカーネル行列のランクに制限されます。
第二に、さまざまな学習タスクに合わせて簡単にカスタマイズできません。
この論文では、マルチレベル分類に適したレート歪み (RD) 理論に基づいてタスク指向の多様性を測定する新しい方法を提案します。
この目的を達成するために、DPP と RD 理論の間の基本的な関係を確立します。
DPP によって選択されたデータの多様性の上限には $\textit{相転移}$ の普遍的な傾向があることが観察され、これは DPP がサンプル蓄積の開始時にのみ有益であることを示唆しています。
これにより、最初のモードで RD-DPP を使用して初期データ サンプルを選択し、分類の不一致 (不確実性の尺度として) を 2 番目のモードで後続のサンプルを選択するという、二峰性手法の設計が行われました。
この相転移により、類似度行列のランクの制限が解決されます。
私たちの方法を 6 つの異なるデータセットと 5 つのベンチマーク モデルに適用すると、私たちの方法は、あらゆるサンプリング予算の下で、ランダム選択、DPP ベースの方法、および不確実性ベースの方法やコアセット方法などの代替方法よりも一貫して優れていると同時に、さまざまな学習タスクに対して高い一般化可能性を示していることがわかります。

要約(オリジナル)

In some practical learning tasks, such as traffic video analysis, the number of available training samples is restricted by different factors, such as limited communication bandwidth and computation power. Determinantal Point Process (DPP) is a common method for selecting the most diverse samples to enhance learning quality. However, the number of selected samples is restricted to the rank of the kernel matrix implied by the dimensionality of data samples. Secondly, it is not easily customizable to different learning tasks. In this paper, we propose a new way of measuring task-oriented diversity based on the Rate-Distortion (RD) theory, appropriate for multi-level classification. To this end, we establish a fundamental relationship between DPP and RD theory. We observe that the upper bound of the diversity of data selected by DPP has a universal trend of $\textit{phase transition}$, which suggests that DPP is beneficial only at the beginning of sample accumulation. This led to the design of a bi-modal method, where RD-DPP is used in the first mode to select initial data samples, then classification inconsistency (as an uncertainty measure) is used to select the subsequent samples in the second mode. This phase transition solves the limitation to the rank of the similarity matrix. Applying our method to six different datasets and five benchmark models suggests that our method consistently outperforms random selection, DPP-based methods, and alternatives like uncertainty-based and coreset methods under all sampling budgets, while exhibiting high generalizability to different learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google