Embeddings as Epistemic States: Limitations on the Use of Pooling Operators for Accumulating Knowledge

要約

様々なニューラルネットワークアーキテクチャは、異なるソースからの情報を集約するためのプーリング演算子に依存している。このような文脈では、ベクトルが認識論的状態を符号化すること、すなわち、ベクトルが関心のある特性について得られた証拠を捉え、これらのベクトルをプールすることで、この証拠を結合したベクトルが得られることが暗黙のうちに仮定されることが多い。我々は、多くの標準的なプーリング演算子について、どのような条件下で、それらがこの考え（我々はこれを認識論的プーリング原理と呼ぶ）に適合するかを研究する。我々は、全てのプーリング演算子がエピステミック・プーリング原理を満たすことができることを発見したが、これは埋め込みが十分に高次元であり、ほとんどのプーリング演算子において、埋め込みが特定の制約（例えば、非負の座標を持つ）を満たす場合にのみ成立する。さらに、これらの制約は、埋め込みが実際にどのように使われるかに重要な意味を持つことを示す。特に、エピステミック・プーリング原理が満足される場合、ほとんどの場合、線形スコアリング関数を用いて命題式の満足度を検証することは不可能である。この発見は、特に、グラフニューラルネットワークが推論タスクにおいて性能が劣ることがある理由を明らかにするのに役立つ。最後に、非単調推論の文脈で重要な重み付きエピステミック状態へのエピステミックプーリング原理の拡張についても研究し、そこでは最大プーリングが最適な演算子として浮上する。

要約(オリジナル)

Various neural network architectures rely on pooling operators to aggregate information coming from different sources. It is often implicitly assumed in such contexts that vectors encode epistemic states, i.e. that vectors capture the evidence that has been obtained about some properties of interest, and that pooling these vectors yields a vector that combines this evidence. We study, for a number of standard pooling operators, under what conditions they are compatible with this idea, which we call the epistemic pooling principle. While we find that all the considered pooling operators can satisfy the epistemic pooling principle, this only holds when embeddings are sufficiently high-dimensional and, for most pooling operators, when the embeddings satisfy particular constraints (e.g. having non-negative coordinates). We furthermore show that these constraints have important implications on how the embeddings can be used in practice. In particular, we find that when the epistemic pooling principle is satisfied, in most cases it is impossible to verify the satisfaction of propositional formulas using linear scoring functions, with two exceptions: (i) max-pooling with embeddings that are upper-bounded and (ii) Hadamard pooling with non-negative embeddings. This finding helps to clarify, among others, why Graph Neural Networks sometimes under-perform in reasoning tasks. Finally, we also study an extension of the epistemic pooling principle to weighted epistemic states, which are important in the context of non-monotonic reasoning, where max-pooling emerges as the most suitable operator.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL