Untrained neural networks can demonstrate memorization-independent abstract reasoning

要約

抽象的推論の性質については議論の余地があります。
最新の人工ニューラル ネットワーク (ANN) モデルは、大規模言語モデルと同様に、抽象的な推論問題でテストすると素晴らしい成功を示します。
しかし、彼らの成功は、汎用の抽象的な推論能力ではなく、同様の問題の何らかの形の記憶 (データ汚染) を反映していると主張されています。
この懸念は、脆弱性の証拠と広範な訓練の必要性によって裏付けられています。
私たちの研究では、事前のトレーニングなしで、ANN のツールボックスを使用して抽象推論を達成できるかどうかを調査しました。
具体的には、事前知識ではなく問題データ自体を使用して、問題の解決中に単純なネットワークの重みが最適化される ANN モデルを研究しました。
このモデリング アプローチを視覚的推論の問題に対してテストしたところ、比較的良好に機能することがわかりました。
重要なことは、この成功は類似の問題の暗記に依存していないということです。
さらに、それがどのように機能するかについての説明を提案します。
最後に、問題解決は ANN の重みを変更することで実行されるため、問題解決と ANN における知識の蓄積との関係を調査しました。

要約(オリジナル)

The nature of abstract reasoning is a matter of debate. Modern artificial neural network (ANN) models, like large language models, demonstrate impressive success when tested on abstract reasoning problems. However, it has been argued that their success reflects some form of memorization of similar problems (data contamination) rather than a general-purpose abstract reasoning capability. This concern is supported by evidence of brittleness, and the requirement of extensive training. In our study, we explored whether abstract reasoning can be achieved using the toolbox of ANNs, without prior training. Specifically, we studied an ANN model in which the weights of a naive network are optimized during the solution of the problem, using the problem data itself, rather than any prior knowledge. We tested this modeling approach on visual reasoning problems and found that it performs relatively well. Crucially, this success does not rely on memorization of similar problems. We further suggest an explanation of how it works. Finally, as problem solving is performed by changing the ANN weights, we explored the connection between problem solving and the accumulation of knowledge in the ANNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google