Dataset Summarization by K Principal Concepts

要約

データセット要約のための K プリンシパル概念識別の新しいタスクを提案します。
目的は、データセット内の変動を最もよく説明する一連の K 個の概念を見つけることです。
概念は、「虎」、「カヤック」、「幸せ」など、人間が解釈できる高レベルの用語です。
K 個の概念は、(潜在的に長い) 候補の入力リストから選択されます。これを概念バンクと呼びます。
コンセプトバンクは、一般的な辞書から取得するか、タスク固有の事前知識によって構築することができます。
画像言語埋め込みメソッド (CLIP など) を使用して、画像とコンセプト バンクを共有特徴空間にマッピングします。
データを最もよく説明する K 個の概念を選択するために、問題を K 個の無能力施設の位置問題として定式化します。
効率的な最適化手法を使用して、ローカル検索アルゴリズムを非常に大規模なコンセプト バンクにスケーリングします。
この方法の出力は、データセットを要約した一連の K 個の主要概念です。
私たちのアプローチは、あいまいであることが多い K 個の代表的な画像を選択する場合と比較して、より明確な要約を提供します。
この方法のさらなる応用として、K 個の主概念を使用して、データセットを K 個のグループに分類できます。
広範な実験により、私たちのアプローチの有効性が実証されています。

要約(オリジナル)

We propose the new task of K principal concept identification for dataset summarizarion. The objective is to find a set of K concepts that best explain the variation within the dataset. Concepts are high-level human interpretable terms such as ‘tiger’, ‘kayaking’ or ‘happy’. The K concepts are selected from a (potentially long) input list of candidates, which we denote the concept-bank. The concept-bank may be taken from a generic dictionary or constructed by task-specific prior knowledge. An image-language embedding method (e.g. CLIP) is used to map the images and the concept-bank into a shared feature space. To select the K concepts that best explain the data, we formulate our problem as a K-uncapacitated facility location problem. An efficient optimization technique is used to scale the local search algorithm to very large concept-banks. The output of our method is a set of K principal concepts that summarize the dataset. Our approach provides a more explicit summary in comparison to selecting K representative images, which are often ambiguous. As a further application of our method, the K principal concepts can be used to classify the dataset into K groups. Extensive experiments demonstrate the efficacy of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google