Feature Collapse

要約

私たちは、学習タスクにおいて同様の役割を果たすエンティティが同様の表現を受け取るという直観的なアイデアを正確にする特徴崩壊と呼ばれる現象を形式化して研究します。
機能の折りたたみにはタスクの概念が必要なため、単純だがプロトタイプ的な NLP タスクを活用して研究します。
まず、特徴の崩壊が一般化と密接に関係していることを実験的に示すことから始めます。
次に、大きなサンプル制限内で、この NLP タスクで同一の役割を果たす個別の単語が、ニューラル ネットワーク内で同一の局所特徴表現を受け取ることを証明します。
この分析により、LayerNorm などの正規化メカニズムが特徴の崩壊と一般化において果たす重要な役割が明らかになります。

要約(オリジナル)

We formalize and study a phenomenon called feature collapse that makes precise the intuitive idea that entities playing a similar role in a learning task receive similar representations. As feature collapse requires a notion of task, we leverage a simple but prototypical NLP task to study it. We start by showing experimentally that feature collapse goes hand in hand with generalization. We then prove that, in the large sample limit, distinct words that play identical roles in this NLP task receive identical local feature representations in a neural network. This analysis reveals the crucial role that normalization mechanisms, such as LayerNorm, play in feature collapse and in generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google