Understanding Probe Behaviors through Variational Bounds of Mutual Information

要約

自己教師あり表現の成功により、研究者は表現内にカプセル化された情報をより深く理解しようとしています。
さまざまな解釈可能性手法の中で、私たちは分類ベースの線形プローブに焦点を当てます。
情報理論を活用した新しい数学的枠組みを構築することで、線形探査に対する確かな理解を促進し、ガイドラインを提供することを目指します。
まず、プロービングを相互情報量の変分限界 (MI) に関連付けて、線形プロービングを微調整と同等にして、プローブの設計を緩和します。
次に、数学的枠組みを通じて経験的な行動と調査の実践を調査します。
層ごとのパフォーマンス曲線が凸状であることを分析します。これは、データ処理の不平等に違反しているように見えます。
ただし、分離性の向上と MI の減少との間のトレードオフにより、中間表現が最大の MI 推定値を持つ可能性があることを示します。
さらに、線形分離可能な表現のマージンが「表現の良さ」を測定するための基準になり得ることを提案します。
測定基準としてMIとの精度も比較します。
最後に、単語と音素の情報の保持に関する自己教師あり音声モデルを観察することで、私たちの主張を経験的に検証します。

要約(オリジナル)

With the success of self-supervised representations, researchers seek a better understanding of the information encapsulated within a representation. Among various interpretability methods, we focus on classification-based linear probing. We aim to foster a solid understanding and provide guidelines for linear probing by constructing a novel mathematical framework leveraging information theory. First, we connect probing with the variational bounds of mutual information (MI) to relax the probe design, equating linear probing with fine-tuning. Then, we investigate empirical behaviors and practices of probing through our mathematical framework. We analyze the layer-wise performance curve being convex, which seemingly violates the data processing inequality. However, we show that the intermediate representations can have the biggest MI estimate because of the tradeoff between better separability and decreasing MI. We further suggest that the margin of linearly separable representations can be a criterion for measuring the ‘goodness of representation.’ We also compare accuracy with MI as the measuring criteria. Finally, we empirically validate our claims by observing the self-supervised speech models on retaining word and phoneme information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google