Tangling-Untangling Cycle for Efficient Learning

要約

多様体学習の従来の常識は、IsoMAP や局所線形埋め込み (LLE) などの非線形次元削減技術に基づいています。
私たちは次元の恩恵を利用して、このパラダイムに挑戦します。
私たちの直観は単純です。ホイットニーの埋め込み定理によって保証されているように、高次元空間では低次元多様体が広大であるため、そのもつれを解く方が簡単です。
この研究によってもたらされた新しい洞察は、リフトされた高次元空間のコンテキスト変数としてクラス ラベルを導入することです (したがって、教師あり学習は教師なし学習になります)。
我々は、多様体のもつれを解くと、持ち上げられた空間内で線形分離可能な分類器が得られることを厳密に示します。
避けられない過学習を修正するために、一般化にとって重要である多様体のもつれを解く二重プロセス (もつれまたはエイリアシング) を考慮します。
コンテキストを結合要素として使用して、もつれ-もつれ解除サイクル (TUC) として知られる、多様体もつれを解く演算子ともつれを解く演算子のペアを構築します。
アンタングル演算子は、コンテキストを隠れ変数として誘導することにより、低次元空間のコンテキスト独立表現 (CIR) を高次元空間のコンテキスト依存表現 (CDR) にマッピングします。
タングル演算子は、不変性と一般化のための単純な積分変換によって CDR を CIR にマッピングし直します。
また、デカルト積とフラクタル幾何学に基づいた TUC の階層的拡張も示します。
概念的な単純さにも関わらず、TUC は、多同期ニューラル グループ (PNG) と睡眠覚醒サイクル (SWC) のタイムロック動作に基づいた、生物学的に妥当でエネルギー効率の高い実装を認めています。
TUC に基づく理論は、海馬-新皮質システムによるさまざまな認知機能の計算モデリングに適用されます。

要約(オリジナル)

The conventional wisdom of manifold learning is based on nonlinear dimensionality reduction techniques such as IsoMAP and locally linear embedding (LLE). We challenge this paradigm by exploiting the blessing of dimensionality. Our intuition is simple: it is easier to untangle a low-dimensional manifold in a higher-dimensional space due to its vastness, as guaranteed by Whitney embedding theorem. A new insight brought by this work is to introduce class labels as the context variables in the lifted higher-dimensional space (so supervised learning becomes unsupervised learning). We rigorously show that manifold untangling leads to linearly separable classifiers in the lifted space. To correct the inevitable overfitting, we consider the dual process of manifold untangling — tangling or aliasing — which is important for generalization. Using context as the bonding element, we construct a pair of manifold untangling and tangling operators, known as tangling-untangling cycle (TUC). Untangling operator maps context-independent representations (CIR) in low-dimensional space to context-dependent representations (CDR) in high-dimensional space by inducing context as hidden variables. The tangling operator maps CDR back to CIR by a simple integral transformation for invariance and generalization. We also present the hierarchical extensions of TUC based on the Cartesian product and the fractal geometry. Despite the conceptual simplicity, TUC admits a biologically plausible and energy-efficient implementation based on the time-locking behavior of polychronization neural groups (PNG) and sleep-wake cycle (SWC). The TUC-based theory applies to the computational modeling of various cognitive functions by hippocampal-neocortical systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google