EvoGrad: A Dynamic Take on the Winograd Schema Challenge with Human Adversaries

要約

大規模言語モデル (LLM) は、代名詞の曖昧さ回避を通じて常識的な推論をテストする共参照解決タスクである Winograd スキーマ チャレンジ (WSC) では優れていますが、軽微な変更や言い換えを特徴とするインスタンスには苦労します。
これに対処するために、人間参加型アプローチを利用して、変更された WSC インスタンスに合わせた動的データセットを作成するオープンソース プラットフォームである EvoGrad を紹介します。
ChatGPT の機能を活用して、タスク インスタンスを 182 から 3,691 に拡張し、多様な常識推論データセットの新しいベンチマークを設定しました。
さらに、動的タスクにおけるモデルの安定性を評価するエラー深度メトリックを導入します。
私たちの結果は、EvoGrad によってもたらされた課題を強調しています。最高のパフォーマンスを誇る LLM である GPT-3.5 でさえ、平均エラー深度 7.2 で 65.0% の精度を達成しています。これは、摂動エラーなしの人間のパフォーマンス 92.8% の精度とはまったく対照的です。
これは、現在進行中のモデルの限界と、それを明らかにする際の動的データセットの価値を強調しています。

要約(オリジナル)

While Large Language Models (LLMs) excel at the Winograd Schema Challenge (WSC), a coreference resolution task testing common-sense reasoning through pronoun disambiguation, they struggle with instances that feature minor alterations or rewording. To address this, we introduce EvoGrad, an open-source platform that harnesses a human-in-the-loop approach to create a dynamic dataset tailored to such altered WSC instances. Leveraging ChatGPT’s capabilities, we expand our task instances from 182 to 3,691, setting a new benchmark for diverse common-sense reasoning datasets. Additionally, we introduce the error depth metric, assessing model stability in dynamic tasks. Our results emphasize the challenge posed by EvoGrad: Even the best performing LLM, GPT-3.5, achieves an accuracy of 65.0% with an average error depth of 7.2, a stark contrast to human performance of 92. 8% accuracy without perturbation errors. This highlights ongoing model limitations and the value of dynamic datasets in uncovering them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google