A Novel Metric for Measuring the Robustness of Large Language Models in Non-adversarial Scenarios

要約

複数のデータセット上でいくつかの大規模な言語モデルの堅牢性を評価します。
ここでの堅牢性とは、入力の意味を保持する変形に対するモデルの回答が相対的に鈍感であることを指します。
ベンチマーク データセットは、自然に発生する悪意のない摂動を導入するか、入力された質問やステートメントの意味的に同等の言い換えを生成することによって構築されます。
さらに、モデルの堅牢性を評価するための新しい指標を提案し、作成されたデータセットに対するいくつかのモデルの経験的評価によって、非敵対的シナリオにおけるその利点を実証します。

要約(オリジナル)

We evaluate the robustness of several large language models on multiple datasets. Robustness here refers to the relative insensitivity of the model’s answers to meaning-preserving variants of their input. Benchmark datasets are constructed by introducing naturally-occurring, non-malicious perturbations, or by generating semantically equivalent paraphrases of input questions or statements. We further propose a novel metric for assessing a model robustness, and demonstrate its benefits in the non-adversarial scenario by empirical evaluation of several models on the created datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google