Leveraging Task Structures for Improved Identifiability in Neural Network Representations

要約

この研究は、タスクの分布にアクセスした場合の結果を考慮することにより、教師あり学習における識別可能性の理論を拡張します。
このような場合、単一タスク分類の場合の線形識別可能性に限定された以前の研究を拡張して、回帰の場合でも識別可能性が達成可能であることを示します。
さらに、潜在因子に対する条件付き事前因子を定義するタスク分布の存在により、識別可能性の同値クラスが置換とスケーリングに減少し、線形識別可能性よりもはるかに強力で有用な結果となることを示します。
これらのタスクにわたって因果構造をさらに仮定すると、私たちのアプローチにより、単純な最尤尤度最適化と、因果表現学習への下流での適用が可能になります。
経験的に、私たちのモデルは、合成データと現実世界の分子データの両方の標準表現を回復する際に、より一般的な教師なしモデルよりも優れていることが検証されています。

要約(オリジナル)

This work extends the theory of identifiability in supervised learning by considering the consequences of having access to a distribution of tasks. In such cases, we show that identifiability is achievable even in the case of regression, extending prior work restricted to linear identifiability in the single-task classification case. Furthermore, we show that the existence of a task distribution which defines a conditional prior over latent factors reduces the equivalence class for identifiability to permutations and scaling, a much stronger and more useful result than linear identifiability. When we further assume a causal structure over these tasks, our approach enables simple maximum marginal likelihood optimization together with downstream applicability to causal representation learning. Empirically, we validate that our model outperforms more general unsupervised models in recovering canonical representations for both synthetic and real-world molecular data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google