Regularised neural networks mimic human insight

要約

人間は、洞察の瞬間に関連して、タスクのパフォーマンスが突然向上することがあります。
このような洞察に関連したパフォーマンスの向上は、その前に長期間の行き詰まりがあり、異常に突然であり、すべての学習者ではなく一部の学習者にのみ起こるため、特別に見えます。
ここでは、勾配降下法アルゴリズムで訓練された人工ニューラル ネットワークでも洞察に似た動作が発生するかどうかを尋ねます。
私たちは、人間の学習ダイナミクスと、タスクをより効率的に解決できる隠れた機会を提供する知覚決定タスクにおける正規化されたニューラル ネットワークを比較しました。
人間は徐々にではなく、洞察を通じてこの規則性を発見する傾向があることを示します。
特に、規則化されたゲート変調を備えたニューラル ネットワークは、人間の洞察の行動特性を厳密に模倣し、洞察の遅延、突然性、選択的な発生を示しました。
ネットワーク学習ダイナミクスの分析により、洞察に似た動作は勾配更新に追加されるノイズに決定的に依存しており、その前に、正規化された (注意を払った) ゲーティングによって最初は抑制される「沈黙の知識」が存在することが明らかになりました。
これは、洞察が段階的な学習から自然に得られ、ノイズ、注意のゲーティング、正則化の複合的な影響を反映していることを示唆しています。

要約(オリジナル)

Humans sometimes show sudden improvements in task performance that have been linked to moments of insight. Such insight-related performance improvements appear special because they are preceded by an extended period of impasse, are unusually abrupt, and occur only in some, but not all, learners. Here, we ask whether insight-like behaviour also occurs in artificial neural networks trained with gradient descent algorithms. We compared learning dynamics in humans and regularised neural networks in a perceptual decision task that provided a hidden opportunity which allowed to solve the task more efficiently. We show that humans tend to discover this regularity through insight, rather than gradually. Notably, neural networks with regularised gate modulation closely mimicked behavioural characteristics of human insights, exhibiting delay of insight, suddenness and selective occurrence. Analyses of network learning dynamics revealed that insight-like behaviour crucially depended on noise added to gradient updates, and was preceded by “silent knowledge” that is initially suppressed by regularised (attentional) gating. This suggests that insights can arise naturally from gradual learning, where they reflect the combined influences of noise, attentional gating and regularisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google