Learning Group Importance using the Differentiable Hypergeometric Distribution

要約

【タイトル】 – ディファレンシャル超幾何分布を用いたグループの重要性の学習

【要約】

– ユーザーのリアクションや製品嗜好など、多数の観測データを詳細に理解するために、グループ分割は必須である
– 集合の子要素は正確には未知のため、クラスタリングアプリケーションや弱監督学習で共有可能な生成性潜在変数の数といった要素の数が明示的に学習できない。
– ハード制約がある確率分布は勾配ベースの最適化を防ぐために、正しい組み合わせのサブセットのサイズを表す確率分布は非微分的である。
– 本研究では、ディファレンシャル超幾何分布を提案する。これは、相対的な重要度に基づいて異なるグループサイズの確率をモデル化する。リパラメータ化可能な勾配によってグループの重要性を学習し、グループのサイズを明示的に学習することの利点を弱監督学習とクラスタリングの2つの典型的なアプリケーションに対して示す。
– 他の論文より優れた成果を示し、未知のグループサイズをモデル化するためにサブオプティマルなヒューリスティックに依存していた過去のアプローチを超えることができた。

要約(オリジナル)

Partitioning a set of elements into subsets of a priori unknown sizes is essential in many applications. These subset sizes are rarely explicitly learned – be it the cluster sizes in clustering applications or the number of shared versus independent generative latent factors in weakly-supervised learning. Probability distributions over correct combinations of subset sizes are non-differentiable due to hard constraints, which prohibit gradient-based optimization. In this work, we propose the differentiable hypergeometric distribution. The hypergeometric distribution models the probability of different group sizes based on their relative importance. We introduce reparameterizable gradients to learn the importance between groups and highlight the advantage of explicitly learning the size of subsets in two typical applications: weakly-supervised learning and clustering. In both applications, we outperform previous approaches, which rely on suboptimal heuristics to model the unknown size of groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI