The Fairness-Quality Trade-off in Clustering

要約

クラスタリングの公平性については、これまで広く検討されてきました。
ただし、2 つの目的間のトレードオフ、たとえば、公平性を大幅に向上させるためにクラスタリングの品質を少し犠牲にすることはできるでしょうか、あるいはその逆は可能でしょうか。
— ほとんど取り上げられていません。
クラスタリング問題における品質と公平性の間の完全なトレードオフ曲線、つまりパレート フロントを追跡するための新しいアルゴリズムを導入します。
つまり、両方の目的において他のクラスタリングによって支配されていないすべてのクラスタリングを計算します。
品質と公平性の特定の目標を扱う以前の研究とは異なり、私たちは、以前の研究で扱われた特殊なケースのほとんどを包含する 2 つの一般的なクラスで公平性と品質のすべての目標を扱います。
パレート フロント自体が指数関数的になる可能性があるため、私たちのアルゴリズムは最悪の場合でも指数関数的な時間がかかる必要があります。
パレート フロントが多項式である場合でも、アルゴリズムには指数関数的な時間がかかる可能性があり、P = NP でない限り、これは避けられないことが証明されています。
ただし、クラスターの中心が固定されている場合に、パレート フロント全体を計算するための新しい多項式時間アルゴリズムも提示します。また、おそらく最も自然な公平性の目的である、すべてのクラスターにわたって、それぞれの 2 つのグループ間の不均衡の合計を最小化するためにも使用します。
クラスタ。

要約(オリジナル)

Fairness in clustering has been considered extensively in the past; however, the trade-off between the two objectives — e.g., can we sacrifice just a little in the quality of the clustering to significantly increase fairness, or vice-versa? — has rarely been addressed. We introduce novel algorithms for tracing the complete trade-off curve, or Pareto front, between quality and fairness in clustering problems; that is, computing all clusterings that are not dominated in both objectives by other clusterings. Unlike previous work that deals with specific objectives for quality and fairness, we deal with all objectives for fairness and quality in two general classes encompassing most of the special cases addressed in previous work. Our algorithm must take exponential time in the worst case as the Pareto front itself can be exponential. Even when the Pareto front is polynomial, our algorithm may take exponential time, and we prove that this is inevitable unless P = NP. However, we also present a new polynomial-time algorithm for computing the entire Pareto front when the cluster centers are fixed, and for perhaps the most natural fairness objective: minimizing the sum, over all clusters, of the imbalance between the two groups in each cluster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google