Leveraging Task Structures for Improved Identifiability in Neural Network Representations

要約

この研究は、タスクの分布にアクセスした場合の結果を考慮することにより、教師あり学習における識別可能性の理論を拡張します。
このような場合、単一タスク分類の場合に限定された以前の研究を拡張して、回帰の場合でも識別可能性が達成可能であることを示します。
さらに、潜在変数に対する条件付き事前変数を定義するタスク分布の存在により、置換とスケーリングに対する識別可能性の同値クラスが減少し、より強力でより有用な結果となることを示します。
これらのタスクにわたって因果構造をさらに仮定すると、私たちのアプローチにより、単純な最尤尤度最適化と、因果表現学習への下流での適用が可能になります。
経験的に、私たちのモデルは、合成データと現実世界のデータの正規表現を回復する際に、より一般的な教師なしモデルよりも優れていることが検証されています。

要約(オリジナル)

This work extends the theory of identifiability in supervised learning by considering the consequences of having access to a distribution of tasks. In such cases, we show that identifiability is achievable even in the case of regression, extending prior work restricted to the single-task classification case. Furthermore, we show that the existence of a task distribution which defines a conditional prior over latent variables reduces the equivalence class for identifiability to permutations and scaling, a much stronger and more useful result. When we further assume a causal structure over these tasks, our approach enables simple maximum marginal likelihood optimization together with downstream applicability to causal representation learning. Empirically, we validate that our model outperforms more general unsupervised models in recovering canonical representations for synthetic and real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google