Isolating authorship from content with semantic embeddings and contrastive learning

要約

著者の内面にはスタイルと内容が絡み合っています。
著者は同じトピックについて同じスタイルで書くことが多いため、異なる著者がまったく同じトピックについて書いている場合、それらを区別する最も簡単な方法は、スタイルのニュアンスを理解することです。
著者権限に関する最新のニューラル モデルは、対照学習を使用してこれらの特徴を検出できますが、ある程度のコンテンツ漏洩が常に存在します。
私たちの目的は、コンテンツと著者間の避けられない影響と相関関係を軽減することです。
意味的類似性モデルを使用して合成的に作成された追加のハード ネガティブを含む対照学習 (InfoNCE) を使用する手法を紹介します。
この解きほぐし技術は、コンテンツの埋め込み空間をスタイルの埋め込み空間から遠ざけることを目的としており、スタイルによってより多くの情報が埋め込まれます。
2 つの異なるデータセットでアブレーションのパフォーマンスを実証し、ドメイン外の課題でそれらを比較します。
多作の著者に対する難しい評価では、設定が特に難しい場合に精度が最大 10% 向上するなど、改善が明確に示されています。
課題に対するトライアルでは、微調整としてこの方法のゼロショット機能が維持されることも実証されています。

要約(オリジナル)

Authorship has entangled style and content inside. Authors frequently write about the same topics in the same style, so when different authors write about the exact same topic the easiest way out to distinguish them is by understanding the nuances of their style. Modern neural models for authorship can pick up these features using contrastive learning, however, some amount of content leakage is always present. Our aim is to reduce the inevitable impact and correlation between content and authorship. We present a technique to use contrastive learning (InfoNCE) with additional hard negatives synthetically created using a semantic similarity model. This disentanglement technique aims to distance the content embedding space from the style embedding space, leading to embeddings more informed by style. We demonstrate the performance with ablations on two different datasets and compare them on out-of-domain challenges. Improvements are clearly shown on challenging evaluations on prolific authors with up to a 10% increase in accuracy when the settings are particularly hard. Trials on challenges also demonstrate the preservation of zero-shot capabilities of this method as fine tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google