Defining and Measuring Disentanglement for non-Independent Factors of Variation

要約

表現学習は、データから変動要因を発見し、抽出することを可能にするアプローチです。
直観的には、表現が人間に理解できる方法で変動のさまざまな要素を分離している場合、その表現はもつれが解けていると言われます。
もつれの解除の定義とそれを測定するための指標は、通常、変動要因が互いに独立していることを前提としています。
ただし、これは現実の世界では一般に誤りであるため、これらの定義と指標の使用は非常に具体的で非現実的なシナリオに限定されます。
この論文では、情報理論に基づいて、変動要因が独立していない場合にも有効なもつれの解除の定義を示します。
さらに、この定義を情報ボトルネック法に関連付けます。
最後に、変動要因が独立していない場合に機能する、与えられた定義からのもつれの解け度を測定する方法を提案します。
さまざまな実験を通じて、この論文で提案された方法は非独立の変動要因によるもつれの解除を正確に測定しますが、他の方法はこのシナリオでは失敗することを示します。

要約(オリジナル)

Representation learning is an approach that allows to discover and extract the factors of variation from the data. Intuitively, a representation is said to be disentangled if it separates the different factors of variation in a way that is understandable to humans. Definitions of disentanglement and metrics to measure it usually assume that the factors of variation are independent of each other. However, this is generally false in the real world, which limits the use of these definitions and metrics to very specific and unrealistic scenarios. In this paper we give a definition of disentanglement based on information theory that is also valid when the factors of variation are not independent. Furthermore, we relate this definition to the Information Bottleneck Method. Finally, we propose a method to measure the degree of disentanglement from the given definition that works when the factors of variation are not independent. We show through different experiments that the method proposed in this paper correctly measures disentanglement with non-independent factors of variation, while other methods fail in this scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google