Are Large Language Models Really Robust to Word-Level Perturbations?

要約

大規模言語モデル (LLM) の規模と機能の急速な進歩により、LLM はさまざまな下流タスクのための有望なツールとして位置づけられています。
より良いパフォーマンスの追求と特定のプロンプトに対する暴力的なフィードバックの回避に加えて、LLM の責任を確保するために、LLM の堅牢性に多くの注意が払われています。
ただし、既存の評価方法はほとんどが、事前定義された教師付きラベルを備えた従来の質問応答データセットに依存しており、現代の LLM の優れた生成機能とは一致しません。
この問題に対処するために、LLM によるより挑戦的な未解決の質問から生成された長い会話を評価するための診断ツールとして事前トレーニング済みの報酬モデルを活用する、新しい合理的な評価アプローチを提案します。これを合理的ロバストネス評価の報酬モデル (TREvaL) と呼びます。
）。
より長い会話は、質問を理解する能力という観点から言語モデルを包括的に把握していることを示しており、この能力は個々の単語や文字では完全に網羅されておらず、過度の単純化や固有のバイアスを示す可能性があります。
私たちの広範な実証実験により、TREvaL が LLM の堅牢性を評価するための革新的な方法を提供することが実証されました。
さらに、我々の結果は、LLM が日常の言語使用においてよくある単語レベルの摂動に対して脆弱性を頻繁に示すことを示しています。
特に、微調整 (SFT および RLHF) が実行されると、ロバスト性が低下する傾向があることを発見して驚きました。
TREval のコードは https://github.com/Harry-mic/TREvaL で入手できます。

要約(オリジナル)

The swift advancement in the scales and capabilities of Large Language Models (LLMs) positions them as promising tools for a variety of downstream tasks. In addition to the pursuit of better performance and the avoidance of violent feedback on a certain prompt, to ensure the responsibility of the LLM, much attention is drawn to the robustness of LLMs. However, existing evaluation methods mostly rely on traditional question answering datasets with predefined supervised labels, which do not align with the superior generation capabilities of contemporary LLMs. To address this issue, we propose a novel rational evaluation approach that leverages pre-trained reward models as diagnostic tools to evaluate the longer conversation generated from more challenging open questions by LLMs, which we refer to as the Reward Model for Reasonable Robustness Evaluation (TREvaL). Longer conversations manifest the comprehensive grasp of language models in terms of their proficiency in understanding questions, a capability not entirely encompassed by individual words or letters, which may exhibit oversimplification and inherent biases. Our extensive empirical experiments demonstrate that TREvaL provides an innovative method for evaluating the robustness of an LLM. Furthermore, our results demonstrate that LLMs frequently exhibit vulnerability to word-level perturbations that are commonplace in daily language usage. Notably, we are surprised to discover that robustness tends to decrease as fine-tuning (SFT and RLHF) is conducted. The code of TREval is available in https://github.com/Harry-mic/TREvaL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google