A Geometric Framework for Neural Feature Learning

要約

神経特徴抽出器に基づいた学習システム設計のための新しいフレームワークを紹介します。
まず、統計的依存性と特徴を幾何学的構造を備えた同じ関数空間に統合する特徴ジオメトリを導入します。
特徴ジオメトリを適用することで、学習設定で指定された依存コンポーネントの最適な特徴近似を解くものとして各学習問題を定式化します。
我々は、データサンプルから最適な特徴を学習するための学習アルゴリズムを設計するためのネスティング手法を提案します。これは、既製のネットワークアーキテクチャとオプティマイザに適用できます。
ネスティング手法の応用を実証するために、条件付き推論やマルチモーダル学習などの多変量学習の問題についてさらに議論し、最適な特徴を提示し、古典的なアプローチとの関連性を明らかにします。

要約(オリジナル)

We present a novel framework for learning system design based on neural feature extractors. First, we introduce the feature geometry, which unifies statistical dependence and features in the same function space with geometric structures. By applying the feature geometry, we formulate each learning problem as solving the optimal feature approximation of the dependence component specified by the learning setting. We propose a nesting technique for designing learning algorithms to learn the optimal features from data samples, which can be applied to off-the-shelf network architectures and optimizers. To demonstrate the applications of the nesting technique, we further discuss multivariate learning problems, including conditioned inference and multimodal learning, where we present the optimal features and reveal their connections to classical approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google