Multi-aspect Repetition Suppression and Content Moderation of Large Language Models

要約

タイトル：大規模言語モデルの多面的繰り返しの抑制とコンテンツモデレーション

要約：

– 自然言語生成は、NLPにおいて最も影響力のある分野の1つであり、大規模言語モデル(LLMs)によって進化しています。
– アプリケーションでの書き手支援を行うための鍵として、LLMsは入力された内容を再現または拡張する傾向があります。
– 低リソースのデータ環境では、再現的な出力を引き起こすこともあります。
– 通常、不適切なコンテンツや繰り返しは、n-gramレベルのブロックリスト、トップ-kおよび核サンプリングなどのポストホック方法で軽減されます。
– この論文では、トークンおよびシーケンスレベルの不可能性損失を使用した正確および非正確な繰り返しの抑制の組み合わせ、トレーニング中の繰り返しペナルティ、推論、およびポストプロセッシングを紹介しています。
– さらに、多レベルの不可能性損失を探究し、モデルに冒涜的な単語やフレーズを生成しない能力を与えることを示しています。
– 最後に、包括的な実験により、提案された方法がLLM出力の繰り返しとコンテンツ品質の制御に非常に優れていることを示します。

要約(オリジナル)

Natural language generation is one of the most impactful fields in NLP, and recent years have witnessed its evolution brought about by large language models (LLMs). As the key instrument for writing assistance applications, they are generally prone to replicating or extending offensive content provided in the input. In low-resource data regime, they can also lead to repetitive outputs (Holtzman et al., 2019) [1]. Usually, offensive content and repetitions are mitigated with post-hoc methods, including n-gram level blocklists, top-k and nucleus sampling. In this paper, we introduce a combination of exact and non-exact repetition suppression using token and sequence level unlikelihood loss, repetition penalty during training, inference, and post-processing respectively. We further explore multi-level unlikelihood loss to the extent that it endows the model with abilities to avoid generating offensive words and phrases from the beginning. Finally, with comprehensive experiments, we demonstrate that our proposed methods work exceptionally in controlling the repetition and content quality of LLM outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI