Learned feature representations are biased by complexity, learning order, position, and more

要約

表現学習と学習された表現の解釈は、機械学習と神経科学で重点が置かれている重要な分野です。
どちらの分野でも、一般に、システムの計算を理解または改善する手段として表現が使用されます。
しかし、この研究では、そのような取り組みにとって課題となる可能性がある、表現と計算の間の驚くべき解離を調査します。
特徴やデータの他のプロパティを操作しながら、さまざまな特徴が果たす計算上の役割を一致させようとするデータセットを作成します。
私たちは、入力に関するこれらの複数の抽象的な特徴を計算するために、さまざまな深層学習アーキテクチャをトレーニングします。
学習された特徴表現は、特徴の複雑さ、特徴が学習される順序、入力全体にわたる特徴の分布などの無関係なプロパティに応じて、一部の特徴を他の特徴よりも強く表現する方向に系統的に偏っていることがわかりました。
たとえば、すべての特徴が同等に適切に学習された場合でも、計算が簡単な特徴や最初に学習される特徴は、より複雑な特徴や後で学習される特徴よりも強く高密度で表現される傾向があります。
また、これらのバイアスがアーキテクチャ、オプティマイザー、トレーニング方式によってどのように影響を受けるかについても調査します (たとえば、トランスフォーマーでは、出力シーケンスの早い段階でデコードされた特徴もより強く表現される傾向があります)。
私たちの結果は、勾配ベースの表現学習の帰納的バイアスを特徴付けるのに役立ちます。
これらの結果は、解釈可能性 $-$ や、システムの内部表現の計算上重要な側面から無関係なバイアスを解きほぐす $-$ モデルと脳の表現の比較における重要な課題も浮き彫りにしている。

要約(オリジナル)

Representation learning, and interpreting learned representations, are key areas of focus in machine learning and neuroscience. Both fields generally use representations as a means to understand or improve a system’s computations. In this work, however, we explore surprising dissociations between representation and computation that may pose challenges for such efforts. We create datasets in which we attempt to match the computational role that different features play, while manipulating other properties of the features or the data. We train various deep learning architectures to compute these multiple abstract features about their inputs. We find that their learned feature representations are systematically biased towards representing some features more strongly than others, depending upon extraneous properties such as feature complexity, the order in which features are learned, and the distribution of features over the inputs. For example, features that are simpler to compute or learned first tend to be represented more strongly and densely than features that are more complex or learned later, even if all features are learned equally well. We also explore how these biases are affected by architectures, optimizers, and training regimes (e.g., in transformers, features decoded earlier in the output sequence also tend to be represented more strongly). Our results help to characterize the inductive biases of gradient-based representation learning. These results also highlight a key challenge for interpretability $-$ or for comparing the representations of models and brains $-$ disentangling extraneous biases from the computationally important aspects of a system’s internal representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google