Robustness of Nonlinear Representation Learning

要約

私たちは、わずかに誤解された設定で監視されていない表現学習の問題を研究し、したがって、非線形表現学習の堅牢性の研究を形式化します。
混合が適切な距離で局所アイソメトリーに近い場合に焦点を当て、既存の剛性結果に基づいて、混合が線形変換と小さなエラーまで識別できることを示します。
2番目のステップでは、$ x = f（s）= as+h（s）$に従って生成された観測値を使用して、独立したコンポーネント分析（ICA）を調査します。
マトリックス$ a $と独立したコンポーネントをほぼ回復できることを示します。
一緒に、これらの2つの結果は、ほぼ等尺性混合関数を備えた非線形ICAのおおよその識別可能性を示しています。
これらの結果は、制限されたモデルクラスに従わない実際のデータの監視されていない表現学習の識別可能性の結果に向けたステップです。

要約(オリジナル)

We study the problem of unsupervised representation learning in slightly misspecified settings, and thus formalize the study of robustness of nonlinear representation learning. We focus on the case where the mixing is close to a local isometry in a suitable distance and show based on existing rigidity results that the mixing can be identified up to linear transformations and small errors. In a second step, we investigate Independent Component Analysis (ICA) with observations generated according to $x=f(s)=As+h(s)$ where $A$ is an invertible mixing matrix and $h$ a small perturbation. We show that we can approximately recover the matrix $A$ and the independent components. Together, these two results show approximate identifiability of nonlinear ICA with almost isometric mixing functions. Those results are a step towards identifiability results for unsupervised representation learning for real-world data that do not follow restrictive model classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google