Cousins Of The Vendi Score: A Family Of Similarity-Based Diversity Metrics For Science And Machine Learning

要約

多様性を正確に測定することは、機械学習 (ML)、生態学、化学などの多くの科学分野にとって重要です。
Vendi スコアは、量子統計力学のアイデアを活用して次数 q=1 のヒル数を拡張する、一般的な類似性に基づく多様性メトリックとして導入されました。
生態学の多くの多様性指標とは対照的に、Vendi スコアは類似性を考慮しており、多様性を評価するためにコレクション内のカテゴリーの蔓延に関する知識を必要としません。
ただし、Vendi スコアは、特定のコレクション内の各アイテムを、アイテムの普及率に比例した機密レベルで扱います。
これは、アイテムの普及率に大きな不均衡がある設定では望ましくありません。
この論文では、類似性を使用して他のヒル数を拡張し、まれなアイテムまたは一般的なアイテムに感度を割り当てる際の柔軟性を提供します。
これにより、さまざまなアプリケーションで使用できる一連の多様性指標 (さまざまなレベルの感度を持つ Vendi スコア) が生まれます。
私たちは、グラウンドトゥルースの多様性が既知である合成制御された設定でスコアの特性を研究します。
次に、Vendi Sampling を介して分子シミュレーションを改善する際のその有用性をテストします。
最後に、Vendi スコアを使用して、記憶、重複、多様性、サンプル品質の観点から画像生成モデルの動作をより深く理解します。

要約(オリジナル)

Measuring diversity accurately is important for many scientific fields, including machine learning (ML), ecology, and chemistry. The Vendi Score was introduced as a generic similarity-based diversity metric that extends the Hill number of order q=1 by leveraging ideas from quantum statistical mechanics. Contrary to many diversity metrics in ecology, the Vendi Score accounts for similarity and does not require knowledge of the prevalence of the categories in the collection to be evaluated for diversity. However, the Vendi Score treats each item in a given collection with a level of sensitivity proportional to the item’s prevalence. This is undesirable in settings where there is a significant imbalance in item prevalence. In this paper, we extend the other Hill numbers using similarity to provide flexibility in allocating sensitivity to rare or common items. This leads to a family of diversity metrics — Vendi scores with different levels of sensitivity — that can be used in a variety of applications. We study the properties of the scores in a synthetic controlled setting where the ground truth diversity is known. We then test their utility in improving molecular simulations via Vendi Sampling. Finally, we use the Vendi scores to better understand the behavior of image generative models in terms of memorization, duplication, diversity, and sample quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google