Style Locality for Controllable Generation with kNN Language Models

要約

最近の言語モデルは、外部メモリの追加によって改良されています。
最近傍言語モデルは、類似したコンテキストを取得して単語の予測を支援します。
局所性レベルを追加すると、モデルはソース ドキュメント内の現在のテキストに対する相対位置に基づいて近傍に重み付けする方法を学習できるようになり、モデルのパフォーマンスがさらに向上することが示されています。
最近傍モデルは、制御可能な生成について検討されてきましたが、局所性レベルの使用については検討されていませんでした。
我々は、この目的のための新しいアプローチを提案し、丁寧さ、形式的さ、支持性、有害性のテキストデータに関する自動および人的評価を使用してそれを評価します。
私たちのモデルはスタイルをうまく制御でき、以前の研究よりも優れた流暢さスタイルのトレードオフを提供していることがわかりました。

要約(オリジナル)

Recent language models have been improved by the addition of external memory. Nearest neighbor language models retrieve similar contexts to assist in word prediction. The addition of locality levels allows a model to learn how to weight neighbors based on their relative location to the current text in source documents, and have been shown to further improve model performance. Nearest neighbor models have been explored for controllable generation but have not examined the use of locality levels. We present a novel approach for this purpose and evaluate it using automatic and human evaluation on politeness, formality, supportiveness, and toxicity textual data. We find that our model is successfully able to control style and provides a better fluency-style trade-off than previous work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google