Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing

要約

近年、自己教師付き視覚表現学習が大きな研究関心を集めている。自己教師付き表現を評価する一般的な方法は、様々な下流タスクへの転送であるが、我々はその代わりに、解釈可能性を測定する問題、すなわち、生の表現にエンコードされたセマンティクスを理解することを検討する。我々は後者を、表現と人手でラベル付けされた概念の空間との間の相互情報量を推定することで定式化する。この情報を定量化するために、我々はデコーディングのボトルネックを導入する：情報は、表現空間におけるクラスタに概念をマッピングする単純な予測因子によって捕捉されなければならない。このアプローチはリバース・リニア・プロービングと呼ばれ、表現の意味性に対して感度の高い単一の数値を提供する。また、この指標は、表現が個々の属性（’red’と’apple’単独）ではなく、概念の組み合わせ（例えば、’red apple’）を含む場合に検出することが可能である。最後に、プロービングに用いる概念空間を豊かにするために、教師付き分類器を用いて大規模データセットに自動的にラベル付けすることを提案する。我々はこの方法を用いて、多数の自己教師付き表現を評価し、解釈可能性によってランク付けし、線形プローブによる標準的な評価と比較して現れる違いを強調し、いくつかの定性的な洞察を議論する。コードはこちらで。{scriptsize{url{https://github.com/iro-cp/ssl-qrp}}}.

要約(オリジナル)

Self-supervised visual representation learning has recently attracted significant research interest. While a common way to evaluate self-supervised representations is through transfer to various downstream tasks, we instead investigate the problem of measuring their interpretability, i.e. understanding the semantics encoded in raw representations. We formulate the latter as estimating the mutual information between the representation and a space of manually labelled concepts. To quantify this we introduce a decoding bottleneck: information must be captured by simple predictors, mapping concepts to clusters in representation space. This approach, which we call reverse linear probing, provides a single number sensitive to the semanticity of the representation. This measure is also able to detect when the representation contains combinations of concepts (e.g., ‘red apple’) instead of just individual attributes (‘red’ and ‘apple’ independently). Finally, we propose to use supervised classifiers to automatically label large datasets in order to enrich the space of concepts used for probing. We use our method to evaluate a large number of self-supervised representations, ranking them by interpretability, highlight the differences that emerge compared to the standard evaluation with linear probes and discuss several qualitative insights. Code at: {\scriptsize{\url{https://github.com/iro-cp/ssl-qrp}}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL