Structured Probabilistic Coding

要約

この論文では、ターゲットタスクに関連する入力からコンパクトで有益な表現を学習するための、新しい教師付き表現学習フレームワーク、つまり構造化確率コーディング (SPC) を紹介します。
SPC は、ターゲット ラベル空間からの構造化正則化を備えたエンコーダ専用の確率的コーディング テクノロジです。
これにより、事前トレーニングされた言語モデルの一般化能力が強化され、言語理解が向上します。
具体的には、確率的符号化技術により、情報符号化とタスク予測を1つのモジュールで同時に実行し、入力データの有効な情報をより有効に活用します。
出力空間で変分推論を使用して、ランダム性と不確実性を軽減します。
さらに、潜在空間内の確率分布をより適切に制御するために、潜在空間内のクラスレベルの均一性を促進する構造化正則化が提案されています。
正則化項を使用すると、SPC は潜在コードのガウス分布構造を保存できるだけでなく、クラスで隠れた空間を均一にカバーすることができます。
12 の自然言語理解タスクに関する実験結果は、SPC が分類と回帰のための事前トレーニングされた言語モデルのパフォーマンスを効果的に向上させることを示しています。
広範な実験により、SPC が一般化機能、ラベル ノイズに対する堅牢性、および出力表現のクラスタリング品質を強化できることが示されています。

要約(オリジナル)

This paper presents a new supervised representation learning framework, namely structured probabilistic coding (SPC), to learn compact and informative representations from input related to the target task. SPC is an encoder-only probabilistic coding technology with a structured regularization from the target label space. It can enhance the generalization ability of pre-trained language models for better language understanding. Specifically, our probabilistic coding technology simultaneously performs information encoding and task prediction in one module to more fully utilize the effective information from input data. It uses variational inference in the output space to reduce randomness and uncertainty. Besides, to better control the probability distribution in the latent space, a structured regularization is proposed to promote class-level uniformity in the latent space. With the regularization term, SPC can preserve the Gaussian distribution structure of latent code as well as better cover the hidden space with class uniformly. Experimental results on 12 natural language understanding tasks demonstrate that our SPC effectively improves the performance of pre-trained language models for classification and regression. Extensive experiments show that SPC can enhance the generalization capability, robustness to label noise, and clustering quality of output representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google