Exploring Robustness of LLMs to Sociodemographically-Conditioned Paraphrasing

要約

大規模言語モデル (LLM) は、さまざまな NLP タスクで優れたパフォーマンスを示しています。
ただし、言語バリエーションのさまざまな領域におけるその信頼性については懸念があります。
多くの研究で、ローカルな敵対的攻撃に対する堅牢性の評価方法が提案されていますが、異なる言語スタイルに偏らない、グローバルに堅牢なモデルが必要です。
私たちは、言語モデルの推論能力について構造化された信頼性テストを実行するために、社会人口学的側面にわたる幅広いバリエーションを調査するためのより広範なアプローチを採用しています。
SocialIQA データセットを拡張して、社会人口統計学的スタイルに条件付けされた多様な言い換えセットを作成します。
この評価は、(a) 人工的なプロンプトを使用して人口統計上の言い換えを生成する能力、および (b) 現実世界の複雑な言語シナリオにおける推論能力において、LLM についてより深い理解を提供することを目的としています。
また、これらのセットでの LLM の詳細な信頼性分析のために、言い換えの複雑さ、説明可能性、ATOMIC パフォーマンスなどの尺度も調査します。
私たちは、人口統計に特有の言い換えが言語モデルのパフォーマンスに大きな影響を与えることを発見し、言語のバリエーションの微妙さが依然として大きな課題であることを示しています。
コードとデータセットは、再現性と将来の研究のために利用できるようになります。

要約(オリジナル)

Large Language Models (LLMs) have shown impressive performance in various NLP tasks. However, there are concerns about their reliability in different domains of linguistic variations. Many works have proposed robustness evaluation measures for local adversarial attacks, but we need globally robust models unbiased to different language styles. We take a broader approach to explore a wider range of variations across sociodemographic dimensions to perform structured reliability tests on the reasoning capacity of language models. We extend the SocialIQA dataset to create diverse paraphrased sets conditioned on sociodemographic styles. The assessment aims to provide a deeper understanding of LLMs in (a) their capability of generating demographic paraphrases with engineered prompts and (b) their reasoning capabilities in real-world, complex language scenarios. We also explore measures such as perplexity, explainability, and ATOMIC performance of paraphrases for fine-grained reliability analysis of LLMs on these sets. We find that demographic-specific paraphrasing significantly impacts the performance of language models, indicating that the subtleties of language variations remain a significant challenge. The code and dataset will be made available for reproducibility and future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google