Simple Mechanisms for Representing, Indexing and Manipulating Concepts

要約

ディープネットワークは通常、分類器を介して概念を学習します。これには、モデルを設定し、概念ラベル付きデータに適合するように勾配降下法を介してモデルをトレーニングすることが含まれます。
代わりに、概念の学習は、その瞬間統計行列を調べてその概念の具体的な表現または署名を生成することによって行うことができると主張します。
これらの署名は、一連の概念全体にわたる構造を発見するために使用でき、これらの署名からこの構造を学習することで、より高いレベルの概念を再帰的に生成できます。
概念が「交差」している場合、概念の署名を使用して、関連する多数の「交差」概念にわたって共通のテーマを見つけることができます。
このプロセスは、入力を正しく識別し、入力の (潜在的な) 生成に関与する概念のセットにルーティングできるように、概念の辞書を保持するために使用できます。

要約(オリジナル)

Deep networks typically learn concepts via classifiers, which involves setting up a model and training it via gradient descent to fit the concept-labeled data. We will argue instead that learning a concept could be done by looking at its moment statistics matrix to generate a concrete representation or signature of that concept. These signatures can be used to discover structure across the set of concepts and could recursively produce higher-level concepts by learning this structure from those signatures. When the concepts are `intersected’, signatures of the concepts can be used to find a common theme across a number of related `intersected’ concepts. This process could be used to keep a dictionary of concepts so that inputs could correctly identify and be routed to the set of concepts involved in the (latent) generation of the input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google