Correcting Flaws in Common Disentanglement Metrics

要約

タイトル： 一般的なDisentanglement Metricsの欠陥の修正
要約： 近年、異なる特徴（サイズや形など）が異なるニューロンによって表されるディザングル表現の学習に関心が高まっています。特定の表現がどの程度ディザングルされているかを計量することは簡単ではありません。複数のメトリックが提案されています。この論文では、既存のメトリックの2つの欠点を特定し、それによりまだエンタングルされているモデルに高いスコアを割り当てることができることを示します。さらに、これらの問題を矯正するために2つの新しいメトリックを提案します。次に、合成一般化のタスクを考えます。従来の研究とは異なり、これを分類問題として扱うことができるため、デコーダに依存せずにエンコーダのディザングル能力を測定するために使用することができます。このタスクでのパフォーマンスは（a）一般的にかなり悪く、（b）多くのディザングルメトリックと相関し、（c）最も強く私たちが提案したメトリックと相関します。

– 近年、学習データセットの効率的な利用のため、ディザングルテクニックの開発に関心が高まっている。
– ディザングル表現を測定するための数多くのメトリックが提案されているが、これらはエンタングルされた表現も高いスコアで評価してしまうことがある。
– この論文では、2つの欠点を特定し、これらの問題を解決するために2つの新しいメトリックを提案する。
– 提案したメトリックの1つは、encoderのディザングル能力を測定するために合成一般化のタスクを使用することで評価される。
– 提案されたメトリックは、ディザングル性能と強く相関することが示された。

要約(オリジナル)

Recent years have seen growing interest in learning disentangled representations, in which distinct features, such as size or shape, are represented by distinct neurons. Quantifying the extent to which a given representation is disentangled is not straightforward; multiple metrics have been proposed. In this paper, we identify two failings of existing metrics, which mean they can assign a high score to a model which is still entangled, and we propose two new metrics, which redress these problems. We then consider the task of compositional generalization. Unlike prior works, we treat this as a classification problem, which allows us to use it to measure the disentanglement ability of the encoder, without depending on the decoder. We show that performance on this task is (a) generally quite poor, (b) correlated with most disentanglement metrics, and (c) most strongly correlated with our newly proposed metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI