Enriching Disentanglement: From Logical Definitions to Quantitative Metrics

要約

複雑なデータ内の説明要素を解きほぐすことは、一般化可能でデータ効率の高い表現学習にとって有望なアプローチです。
もつれの解けた表現を学習および評価するためのさまざまな定量的指標が提案されていますが、これらの指標が実際にどのような特性を定量化するのかは不明のままです。
この研究では、トポス理論と充実したカテゴリー理論を使用して、解きほぐしの論理的定義と定量的測定基準の間の理論的接続を確立します。
我々は、(i) 等式を厳密な事前計量に置き換え、(ii) 二値真理値のヘイティング代数を連続値の量子に置き換えることにより、一次述語を実数値量に変換する体系的なアプローチを導入します。(iii)
アグリゲータを備えた数量子。
論理的定義によってもたらされる指標には強力な理論的保証があり、それらの一部は簡単に微分可能であり、学習目標として直接使用できます。
最後に、もつ​​れを解いた表現のさまざまな側面を分離することによって、提案されたメトリクスの有効性を経験的に実証します。

要約(オリジナル)

Disentangling the explanatory factors in complex data is a promising approach for generalizable and data-efficient representation learning. While a variety of quantitative metrics for learning and evaluating disentangled representations have been proposed, it remains unclear what properties these metrics truly quantify. In this work, we establish a theoretical connection between logical definitions of disentanglement and quantitative metrics using topos theory and enriched category theory. We introduce a systematic approach for converting a first-order predicate into a real-valued quantity by replacing (i) equality with a strict premetric, (ii) the Heyting algebra of binary truth values with a quantale of continuous values, and (iii) quantifiers with aggregators. The metrics induced by logical definitions have strong theoretical guarantees, and some of them are easily differentiable and can be used as learning objectives directly. Finally, we empirically demonstrate the effectiveness of the proposed metrics by isolating different aspects of disentangled representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google