Structural-Entropy-Based Sample Selection for Efficient and Effective Learning

要約

サンプル選択は、有益で代表的なサンプルを提供することで、機械学習モデルの効率と有効性を向上させる。通常、サンプルはサンプルグラフとしてモデル化され、ノードはサンプル、エッジはそれらの類似性を表す。既存の手法の多くは、サンプルの学習難易度などの局所的な情報に基づいているため、接続パターンなどの大域的な情報を見落としている。グローバル情報は、選択されたサンプルがグラフの構造的特性をよく表していることを保証するために極めて重要であるため、この見落としは最適な選択を行わない結果となり得る。この問題に対処するため、我々は構造エントロピーを用いて大域的情報を定量化し、シャプレー値を用いてグラフ全体から個々のノードへと可逆的に分解する。この分解に基づいて、グローバル情報とローカル情報の両方を統合して、情報量が多く代表的なサンプルを選択する方法である$textbf{S}$tructural-$textbf{E}$ntropy-based sample $textbf{S}$election ($textbf{SES}$)を提案する。SESは、まず類似性に基づいてサンプル間の$k$NN-グラフを構築する。次に、構造エントロピー（グローバルメトリック）とトレーニングの難易度（ローカルメトリック）を組み合わせてサンプルの重要度を測定する。最後に、SESは重要度に偏ったブルーノイズサンプリングを適用し、多様で代表的なサンプルセットを選択する。教師あり学習、能動的学習、継続的学習の3つの学習シナリオに関する包括的な実験により、本手法の有効性が明確に示された。

要約(オリジナル)

Sample selection improves the efficiency and effectiveness of machine learning models by providing informative and representative samples. Typically, samples can be modeled as a sample graph, where nodes are samples and edges represent their similarities. Most existing methods are based on local information, such as the training difficulty of samples, thereby overlooking global information, such as connectivity patterns. This oversight can result in suboptimal selection because global information is crucial for ensuring that the selected samples well represent the structural properties of the graph. To address this issue, we employ structural entropy to quantify global information and losslessly decompose it from the whole graph to individual nodes using the Shapley value. Based on the decomposition, we present $\textbf{S}$tructural-$\textbf{E}$ntropy-based sample $\textbf{S}$election ($\textbf{SES}$), a method that integrates both global and local information to select informative and representative samples. SES begins by constructing a $k$NN-graph among samples based on their similarities. It then measures sample importance by combining structural entropy (global metric) with training difficulty (local metric). Finally, SES applies importance-biased blue noise sampling to select a set of diverse and representative samples. Comprehensive experiments on three learning scenarios — supervised learning, active learning, and continual learning — clearly demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL