Improving Linguistic Diversity of Large Language Models with Possibility Exploration Fine-Tuning

要約

大規模言語モデル (LLM) は、人間のような能力を再現する点で大きな進歩を遂げていますが、その出力の言語的多様性の減少に関する懸念があります。
その結果、視点や観点が均質化し、特定の人口統計グループが過小評価されることになります。
この問題に対処するために、いくつかの微調整およびプロンプト手法が提案されていますが、それらは多くの場合、特定のタスクに合わせて調整されているか、計算コストと待ち時間の大幅な増加を伴います。
そのため、チャットボットや仮想アシスタントなど、非常に低い遅延が要求されるアプリケーションに適用することが困難になります。
私たちは、レイテンシや計算コストを増加させることなく LLM のテキストの多様性を強化する、タスクに依存しないフレームワークである Possibility Exploration Fine-Tuning (PEFT) を提案します。
同じプロンプトが与えられた場合、PEFT で微調整されたモデルは、それぞれが制御可能な可能性数に対応する複数の多様な応答を同時に生成できます。
対話およびストーリー生成タスクに関する実験では、候補の応答間の類似性が低いことからわかるように、PEFT が LLM 出力の多様性を大幅に強化することが実証されています。
PEFT は語彙の多様性よりも意味の多様性を重視するため、対話システムにおける人口統計の偏りを顕著に軽減することもできます。
実装とデータセットはリポジトリで入手できます: https://github.com/mailong25/peft_diversity

要約(オリジナル)

While Large Language Models (LLMs) have made significant strides in replicating human-like abilities, there are concerns about a reduction in the linguistic diversity of their outputs. This results in the homogenization of viewpoints and perspectives, as well as the underrepresentation of specific demographic groups. Although several fine-tuning and prompting techniques have been suggested to tackle the issue, they are often tailored to specific tasks or come with a substantial increase in computational cost and latency. This makes them challenging to apply to applications that demand very low latency, such as chatbots and virtual assistants. We propose Possibility Exploration Fine-Tuning (PEFT), a task-agnostic framework that enhances the text diversity of LLMs without increasing latency or computational cost. Given the same prompt, models fine-tuned with PEFT can simultaneously generate multiple diverse responses, each corresponding with a controllable possibility number. Experiments on dialogue and story generation tasks demonstrate that PEFT significantly enhances the diversity of LLM outputs, as evidenced by lower similarity between candidate responses. Since PEFT emphasizes semantic diversity over lexical diversity, it can also notably reduce demographic bias in dialogue systems. The implementations and datasets are available in our repository: https://github.com/mailong25/peft_diversity

arxiv情報

提供元, 利用サービス

arxiv.jp, Google