On the (Non) Injectivity of Piecewise Linear Janossy Pooling

要約

マルチセットをベクトルにマッピングする関数であるマルチセット関数は、マルチセットとグラフのニューラルネットワークの構築における基本的なツールです。
マルチセットのベクトル表現が忠実であることを保証するために、無視とbi-lipschitzの両方であるマルチセットマッピングを持つことが望ましいことがよくあります。
現在、これらの両方の保証を達成するマルチセット関数のいくつかの構造があり、一部のタスクでのパフォーマンスの改善につながりますが、多くの場合、標準構造よりも高い計算時間になります。
したがって、同じ保証を達成するよりシンプルなマルチセット関数が利用可能かどうかを尋ねるのは自然です。
この論文では、この質問に対して否定的な答えを出すための大きな一歩を踏み出します。
最も人気のあるマルチセットモデルの多くを含むK-Ary Janossy Poolingのファミリーを検討し、区分的な線形ヤヨセイプーリング関数が注射できないことを証明します。
正の側面では、多重性のないマルチセットに制限されている場合、単純な深層モデルでさえ、注射性と双片植物性に十分であることを示します。

要約(オリジナル)

Multiset functions, which are functions that map multisets to vectors, are a fundamental tool in the construction of neural networks for multisets and graphs. To guarantee that the vector representation of the multiset is faithful, it is often desirable to have multiset mappings that are both injective and bi-Lipschitz. Currently, there are several constructions of multiset functions achieving both these guarantees, leading to improved performance in some tasks but often also to higher compute time than standard constructions. Accordingly, it is natural to inquire whether simpler multiset functions achieving the same guarantees are available. In this paper, we make a large step towards giving a negative answer to this question. We consider the family of k-ary Janossy pooling, which includes many of the most popular multiset models, and prove that no piecewise linear Janossy pooling function can be injective. On the positive side, we show that when restricted to multisets without multiplicities, even simple deep-sets models suffice for injectivity and bi-Lipschitzness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google