Structured Probabilistic Coding

要約

この論文では、ターゲットタスクに関連する入力からコンパクトで有益な表現を学習するための、新しい教師付き表現学習フレームワーク、つまり構造化確率コーディング (SPC) を紹介します。
SPC は、ターゲット空間からの構造化された正則化を備えたエンコーダ専用の確率的コーディング テクノロジです。
これにより、事前トレーニングされた言語モデルの一般化能力が強化され、言語理解が向上します。
具体的には、確率的符号化は、情報符号化とタスク予測を 1 つのモジュールで同時に実行し、入力データからの有効な情報をより最大限に活用します。
出力空間で変分推論を使用して、ランダム性と不確実性を軽減します。
さらに、確率表現の学習プロセスをより適切に制御するために、潜在空間内のクラス間の均一性を促進する構造化正則化が提案されています。
正則化項を使用すると、SPC は潜在コードのガウス構造を保存し、クラスによる隠れた空間を均一にカバーすることができます。
12 の自然言語理解タスクに関する実験結果は、SPC が分類と回帰のための事前トレーニングされた言語モデルのパフォーマンスを効果的に向上させることを示しています。
広範な実験により、SPC が一般化機能、ラベル ノイズに対する堅牢性、および出力表現のクラスタリング品質を強化できることが示されています。

要約(オリジナル)

This paper presents a new supervised representation learning framework, namely structured probabilistic coding (SPC), to learn compact and informative representations from input related to the target task. SPC is an encoder-only probabilistic coding technology with a structured regularization from the target space. It can enhance the generalization ability of pre-trained language models for better language understanding. Specifically, our probabilistic coding simultaneously performs information encoding and task prediction in one module to more fully utilize the effective information from input data. It uses variational inference in the output space to reduce randomness and uncertainty. Besides, to better control the learning process of probabilistic representations, a structured regularization is proposed to promote uniformity across classes in the latent space. With the regularization term, SPC can preserve the Gaussian structure of the latent code and achieve better coverage of the hidden space with class uniformly. Experimental results on 12 natural language understanding tasks demonstrate that our SPC effectively improves the performance of pre-trained language models for classification and regression. Extensive experiments show that SPC can enhance the generalization capability, robustness to label noise, and clustering quality of output representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google