Leveraging Task Structures for Improved Identifiability in Neural Network Representations

要約

この研究は、タスクの分布にアクセスした場合の結果を考慮することにより、教師あり学習における識別可能性の理論を拡張します。
このような場合、一般的なマルチタスク回帰設定で線形識別可能性が達成可能であることを示します。
さらに、潜在因子に対する条件付き事前分布を定義するタスク分布の存在により、真の潜在因子の順列とスケーリングに対する識別可能性の同値クラスが減少し、線形識別可能性よりも強力で有用な結果となることを示します。
重要なのは、これらのタスクにわたって因果構造をさらに仮定すると、私たちのアプローチにより単純な最尤尤度最適化が可能になり、因果表現学習への潜在的な下流アプリケーションが示唆されることです。
経験的に、この単純な最適化手順により、合成データと現実世界の分子データの両方の標準表現を回復する際に、モデルがより一般的な教師なしモデルよりも優れたパフォーマンスを発揮できることがわかりました。

要約(オリジナル)

This work extends the theory of identifiability in supervised learning by considering the consequences of having access to a distribution of tasks. In such cases, we show that linear identifiability is achievable in the general multi-task regression setting. Furthermore, we show that the existence of a task distribution which defines a conditional prior over latent factors reduces the equivalence class for identifiability to permutations and scaling of the true latent factors, a stronger and more useful result than linear identifiability. Crucially, when we further assume a causal structure over these tasks, our approach enables simple maximum marginal likelihood optimization, and suggests potential downstream applications to causal representation learning. Empirically, we find that this straightforward optimization procedure enables our model to outperform more general unsupervised models in recovering canonical representations for both synthetic data and real-world molecular data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google