Challenging Assumptions in Learning Generic Text Style Embeddings

要約

言語表現学習の最近の進歩は、主に意味のある表現を導き出すための言語モデリングを強調し、しばしばスタイル固有の考慮事項を無視します。
この研究では、スタイル中心のタスクに重要な一般的な文レベルのスタイルの埋め込みを作成することにより、このギャップに対処します。
私たちのアプローチは、低レベルのテキストスタイルの変更が高レベルのスタイルを構成できるという前提に基づいています。
この概念を表現学習に適用すると、多用途のテキストスタイルの埋め込みの開発が可能になると仮定します。
対照的な学習と標準的なクロスエントロピー損失を使用して、汎用テキストエンコーダーを微調整することにより、これらの低レベルのスタイルシフトをキャプチャすることを目指しており、高レベルのテキストスタイルに適用される洞察を提供することを予想しています。
結果は、学習したスタイルの表現が高レベルのテキストスタイルをキャプチャすることを常に示しているわけではないため、根本的な仮定を再考するように促されます。

要約(オリジナル)

Recent advancements in language representation learning primarily emphasize language modeling for deriving meaningful representations, often neglecting style-specific considerations. This study addresses this gap by creating generic, sentence-level style embeddings crucial for style-centric tasks. Our approach is grounded on the premise that low-level text style changes can compose any high-level style. We hypothesize that applying this concept to representation learning enables the development of versatile text style embeddings. By fine-tuning a general-purpose text encoder using contrastive learning and standard cross-entropy loss, we aim to capture these low-level style shifts, anticipating that they offer insights applicable to high-level text styles. The outcomes prompt us to reconsider the underlying assumptions as the results do not always show that the learned style representations capture high-level text styles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google