On convex decision regions in deep network representations

要約

人間と機械の位置合わせに関する現在の研究は、機械が学習した潜在空間とその人間の表現への対応を理解することを目的としています。
ガーデンフォルスの概念的空間は、人間の表現を理解するための優れたフレームワークです。
概念的空間におけるオブジェクト領域の凸性は、一般化可能性、少数ショット学習、および対人関係の調整を促進すると主張されています。
これらの洞察に基づいて、機械学習された潜在空間における概念領域の凸性の概念を調査します。
私たちは、サンプリングされたデータの凸性を測定するためのツールのセットを開発し、最先端のディープネットワークの階層化された表現における創発的な凸性を評価します。
我々は、凸性が基本的な再パラメータ化に対して堅牢であるため、機械学習された潜在空間の品質として意味があることを示します。
私たちは、画像、音声、人間の活動、テキスト、医療画像のモデルを含む、複数のアプリケーション ドメインの神経表現に近似凸性が浸透していることを発見しました。
一般に、微調整するとラベル領域の凸面性が高まることが観察されます。
クラスラベル領域の事前トレーニングの凸性がその後の微調整パフォーマンスを予測するという証拠を発見しました。

要約(オリジナル)

Current work on human-machine alignment aims at understanding machine-learned latent spaces and their correspondence to human representations. G{\’a}rdenfors’ conceptual spaces is a prominent framework for understanding human representations. Convexity of object regions in conceptual spaces is argued to promote generalizability, few-shot learning, and interpersonal alignment. Based on these insights, we investigate the notion of convexity of concept regions in machine-learned latent spaces. We develop a set of tools for measuring convexity in sampled data and evaluate emergent convexity in layered representations of state-of-the-art deep networks. We show that convexity is robust to basic re-parametrization and, hence, meaningful as a quality of machine-learned latent spaces. We find that approximate convexity is pervasive in neural representations in multiple application domains, including models of images, audio, human activity, text, and medical images. Generally, we observe that fine-tuning increases the convexity of label regions. We find evidence that pretraining convexity of class label regions predicts subsequent fine-tuning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google