Every Answer Matters: Evaluating Commonsense with Probabilistic Measures

要約

大規模な言語モデルは、常識的なタスクで優れたパフォーマンスを実証しました。
ただし、これらのタスクは多肢選択式の質問として提示されることが多く、モデルが体系的なバイアスを悪用する可能性があります。
常識も本質的に確率論的であり、複数の正解が存在します。
「水を沸騰させる」目的は、お茶を入れたり料理をしたりすることである可能性もありますが、細菌を殺すことである可能性もあります。
既存のタスクは常識の確率的な性質を捉えていません。
この目的を達成するために、我々は、複数のオープンエンド生成を介して常識を評価する新しい生成タスクである常識フレーム補完 (CFC) を提案します。
また、人間の判断と強く相関する確率的評価手法も提案します。
人間は、私たちのデータセットで強力な言語モデルのベースラインを大幅に上回っており、このアプローチが機械の常識の評価に挑戦的であると同時に有用であることを示しています。

要約(オリジナル)

Large language models have demonstrated impressive performance on commonsense tasks; however, these tasks are often posed as multiple-choice questions, allowing models to exploit systematic biases. Commonsense is also inherently probabilistic with multiple correct answers. The purpose of ‘boiling water’ could be making tea and cooking, but it also could be killing germs. Existing tasks do not capture the probabilistic nature of common sense. To this end, we present commonsense frame completion (CFC), a new generative task that evaluates common sense via multiple open-ended generations. We also propose a method of probabilistic evaluation that strongly correlates with human judgments. Humans drastically outperform strong language model baselines on our dataset, indicating this approach is both a challenging and useful evaluation of machine common sense.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google