Comparing supervised learning dynamics: Deep neural networks match human data efficiency but show a generalisation lag

要約

最近の研究では、画像分類の分野で人間とディープ ニューラル ネットワーク (DNN) の間の行動の比較が数多く行われています。
多くの場合、比較研究では、オブジェクト カテゴリが形成された後の表現における類似性を測定および比較することにより、学習プロセスの最終結果に焦点を当てます。
しかし、これらの表現がどのように現れるかというプロセス、つまり、獲得中に観察される行動の変化や中間段階は、直接的かつ経験的に比較されることはあまりありません。
ここでは、人間の観察者とさまざまな古典的および最先端の DNN における学習ダイナミクスの詳細な調査を報告します。
私たちは、開始点、入力モダリティ、利用可能な入力データ、提供されるフィードバックなどの学習関連の条件を調整するために、制約付き教師あり学習環境を開発します。
学習プロセス全体にわたって、学習した表現をこれまでに見たことのないテスト データにどの程度一般化できるかを評価し、比較します。
学習プロセス全体にわたる比較では、DNN が人間の学習者と同等のレベルのデータ効率を実証しており、現場で一般的ないくつかの仮定に疑問を呈していることが示されています。
しかし、私たちの結果は表現の違いも明らかにしています。DNN の学習は顕著な一般化の遅れによって特徴付けられますが、人間はトレーニング セット固有の情報を学習する予備段階なしですぐに一般化可能な表現を獲得し、後で新しいデータに転送されるようです。

要約(オリジナル)

Recent research has seen many behavioral comparisons between humans and deep neural networks (DNNs) in the domain of image classification. Often, comparison studies focus on the end-result of the learning process by measuring and comparing the similarities in the representations of object categories once they have been formed. However, the process of how these representations emerge — that is, the behavioral changes and intermediate stages observed during the acquisition — is less often directly and empirically compared. Here we report a detailed investigation of the learning dynamics in human observers and various classic and state-of-the-art DNNs. We develop a constrained supervised learning environment to align learning-relevant conditions such as starting point, input modality, available input data and the feedback provided. Across the whole learning process we evaluate and compare how well learned representations can be generalized to previously unseen test data. Comparisons across the entire learning process indicate that DNNs demonstrate a level of data efficiency comparable to human learners, challenging some prevailing assumptions in the field. However, our results also reveal representational differences: while DNNs’ learning is characterized by a pronounced generalisation lag, humans appear to immediately acquire generalizable representations without a preliminary phase of learning training set-specific information that is only later transferred to novel data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google