A simple probabilistic neural networks for machine understanding

要約

本稿では、機械理解のためのモデルとして、固定された内部表現を持つ教師なし学習のための確率的ニューラルネットワークについて議論する。ここでいう理解とは、特徴空間の｛アプリオリな｝構成をコード化する既存の表現にデータをマッピングすることを意図している。我々は、内部表現が最大関連性の原理と、異なる特徴がどのように組み合わされるかについての最大無視の原理を満たすことを要求することにより、内部表現を導出する。隠れ単位が2値変数の場合、これら2つの原理は、完全に解けるユニークなモデル–階層的特徴モデル(HFM)–を特定し、特徴の観点から自然な解釈を提供することを示す。我々は、このアーキテクチャを持つ学習機械は、パラメータやデータの変化に対する表現の連続性、圧縮レベルの制御可能性、汎化を超える機能をサポートする能力など、多くの興味深い特性を享受していると主張する。我々はこのモデルの振る舞いを広範な数値実験によって探求し、内部表現が固定されたモデルが、制限付きボルツマンマシンのような伝統的なモデルとは質的に異なる学習様式を再現することを論じる。

要約(オリジナル)

We discuss probabilistic neural networks for unsupervised learning with a fixed internal representation as models for machine understanding. Here understanding is intended as mapping data to an already existing representation which encodes an {\em a priori} organisation of the feature space. We derive the internal representation by requiring that it satisfies the principles of maximal relevance and of maximal ignorance about how different features are combined. We show that, when hidden units are binary variables, these two principles identify a unique model — the Hierarchical Feature Model (HFM) — which is fully solvable and provides a natural interpretation in terms of features. We argue that learning machines with this architecture enjoy a number of interesting properties, like the continuity of the representation with respect to changes in parameters and data, the possibility to control the level of compression and the ability to support functions that go beyond generalisation. We explore the behaviour of the model with extensive numerical experiments and argue that models where the internal representation is fixed reproduce a learning modality which is qualitatively different from that of more traditional models such as Restricted Boltzmann Machines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL