Manifold Learning via Foliations and Knowledge Transfer

要約

実際のデータが高次元空間にどのように分布しているかを理解することは、機械学習における多くのタスクの鍵となります。
私たちは、分類器としてトレーニングされたディープ ReLU ニューラル ネットワークを使用して、データ空間上に自然な幾何学的構造を提供したいと考えています。
フィッシャー情報行列のバリエーションであるデータ情報行列 (DIM) を通じて、モデルはデータ空間上の特異な葉状構造を識別します。
このような葉状構造の特異点はメジャー ゼロ セットに含まれており、局所的な規則的な葉状構造がほぼどこにでも存在することを示します。
実験では、データがそのような葉状の葉と相関していることが示されています。
さらに、DIM のスペクトルを分析してデータセット間の距離を測定することにより、知識伝達に対するアプローチの可能性を示します。

要約(オリジナル)

Understanding how real data is distributed in high dimensional spaces is the key to many tasks in machine learning. We want to provide a natural geometric structure on the space of data employing a deep ReLU neural network trained as a classifier. Through the data information matrix (DIM), a variation of the Fisher information matrix, the model will discern a singular foliation structure on the space of data. We show that the singular points of such foliation are contained in a measure zero set, and that a local regular foliation exists almost everywhere. Experiments show that the data is correlated with leaves of such foliation. Moreover we show the potential of our approach for knowledge transfer by analyzing the spectrum of the DIM to measure distances between datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google