Independence Is Not an Issue in Neurosymbolic AI

要約

神経相性AIに対する一般的なアプローチは、ニューラルネットワークの最後の層の出力を取得することです。
SoftMaxのアクティベーションを行い、実施したい特定の論理的制約をコードするスパース計算グラフに渡します。
これにより、多くの一般的に使用される神経症性AIモデルで互いに条件付きで独立している一連のランダム変数に対して確率分布が誘導されます。
このような条件付きで独立したランダム変数は、それらの存在が決定論的バイアスと呼ばれる現象と共同浸透することに観察されているため、有害であると見なされています。
この結論に異議を唱える証拠を提供し、決定論的バイアスの現象が神経同質AIを不適切に適用するアーティファクトであることを示します。

要約(オリジナル)

A popular approach to neurosymbolic AI is to take the output of the last layer of a neural network, e.g. a softmax activation, and pass it through a sparse computation graph encoding certain logical constraints one wishes to enforce. This induces a probability distribution over a set of random variables, which happen to be conditionally independent of each other in many commonly used neurosymbolic AI models. Such conditionally independent random variables have been deemed harmful as their presence has been observed to co-occur with a phenomenon dubbed deterministic bias, where systems learn to deterministically prefer one of the valid solutions from the solution space over the others. We provide evidence contesting this conclusion and show that the phenomenon of deterministic bias is an artifact of improperly applying neurosymbolic AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google