Regularised neural networks mimic human insight

要約

人間は、洞察の瞬間に関連するタスク パフォーマンスの突然の改善を示すことがあります。
このような洞察に関連するパフォーマンスの改善は、長時間の行き詰まりが先行し、異常に急激であり、すべてではなく一部の学習者にのみ発生するため、特別に見えます。
ここでは、勾配降下アルゴリズムでトレーニングされた人工ニューラル ネットワークでも洞察のような動作が発生するかどうかを尋ねます。
人間の学習ダイナミクスと、タスクをより効率的に解決できるようにする隠された機会を提供する知覚的決定タスクの正規化されたニューラル ネットワークを比較しました。
私たちは、人間がこの規則性を徐々にではなく、洞察を通じて発見する傾向があることを示しています。
特に、正規化されたゲート変調を備えたニューラルネットワークは、人間の洞察の行動特性を厳密に模倣し、洞察の遅延、突然性、および選択的な発生を示しました。
ネットワーク学習ダイナミクスの分析により、洞察のような動作は、勾配の更新に追加されたノイズに決定的に依存し、正規化された (注意的な) ゲーティングによって最初に抑制された「サイレント知識」が先行することが明らかになりました。
これは、洞察が段階的な学習から自然に生じることを示唆しています。そこでは、ノイズ、注意のゲーティング、および規則化の複合的な影響が反映されます。

要約(オリジナル)

Humans sometimes show sudden improvements in task performance that have been linked to moments of insight. Such insight-related performance improvements appear special because they are preceded by an extended period of impasse, are unusually abrupt, and occur only in some, but not all, learners. Here, we ask whether insight-like behaviour also occurs in artificial neural networks trained with gradient descent algorithms. We compared learning dynamics in humans and regularised neural networks in a perceptual decision task that provided a hidden opportunity which allowed to solve the task more efficiently. We show that humans tend to discover this regularity through insight, rather than gradually. Notably, neural networks with regularised gate modulation closely mimicked behavioural characteristics of human insights, exhibiting delay of insight, suddenness and selective occurrence. Analyses of network learning dynamics revealed that insight-like behaviour crucially depended on noise added to gradient updates, and was preceded by “silent knowledge” that is initially suppressed by regularised (attentional) gating. This suggests that insights can arise naturally from gradual learning, where they reflect the combined influences of noise, attentional gating and regularisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google