RESPONSE: Benchmarking the Ability of Language Models to Undertake Commonsense Reasoning in Crisis Situation

要約

人々が自然災害に直面しているときに、興味深い相性的な推論の問題が生じます。
このトピックを調査するために、異なる時間枠にわたる災害状況におけるLLMSの共同推論を評価するために設計された6037の注釈付きインスタンスを含む1789の注釈付きインスタンスを含むヒューマンキュレーションのデータセットである\ textsf {response}を提示します。
データセットには、環境エンジニアによって検証されたサブセットを使用して、問題の説明、リソースの欠落、時間に敏感なソリューション、およびそれらの正当化が含まれています。
自動メトリックと人間の評価の両方を通じて、人間の反応に対してLLM生成された推奨事項を比較します。
私たちの調査結果は、GPT-4のような最先端のモデルでさえ、即時の対応行動に対して37％のヒトで評価された正確性のみを達成し、危機における常識的な推論のためのLLMSの能力の改善の重要な余地を強調していることを示しています。

要約(オリジナル)

An interesting class of commonsense reasoning problems arises when people are faced with natural disasters. To investigate this topic, we present \textsf{RESPONSE}, a human-curated dataset containing 1789 annotated instances featuring 6037 sets of questions designed to assess LLMs’ commonsense reasoning in disaster situations across different time frames. The dataset includes problem descriptions, missing resources, time-sensitive solutions, and their justifications, with a subset validated by environmental engineers. Through both automatic metrics and human evaluation, we compare LLM-generated recommendations against human responses. Our findings show that even state-of-the-art models like GPT-4 achieve only 37\% human-evaluated correctness for immediate response actions, highlighting significant room for improvement in LLMs’ ability for commonsense reasoning in crises.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google