Cleared for Takeoff? Compositional & Conditional Reasoning may be the Achilles Heel to (Flight-Booking) Language Agents

要約

大規模言語モデル (LLM) の急速な進歩により、LLM は標準的なベンチマークで優れており、人間のパフォーマンスを頻繁に上回っています。
これにより、LLM エージェントなどの多くの下流アプリケーションが、複雑なタスク要件をナビゲートするために高度な推論に依存できるようになりました。
しかし、LLM は、単純なタスクや一見単純な状況下では予期せぬ失敗をすることが知られており、LLM の真の能力を測定するには、より適切で多様な評価設定の必要性が強調されています。
この目的のために、私たちは人間の認知の 2 つの基礎である構成推論と条件推論を研究することを選択し、これらの推論スキルを現実世界の問題であるフライト予約に結び付ける語彙的に多様なベンチマークである GroundCocoa を導入します。
私たちの仕事には、ユーザーの詳細な好みと、複数選択形式で提示される利用可能なフライトのオプションを調整することが含まれます。
結果は、現在の最先端の LLM の間ではパフォーマンスに大きな差があり、最もパフォーマンスの高いモデルである GPT-4 Turbo でさえ、高度なプロンプト技術にもかかわらず 67% を超えない精度を示しています。

要約(オリジナル)

The rapid progress of large language models (LLMs) has seen them excel and frequently surpass human performance on standard benchmarks. This has enabled many downstream applications, such as LLM agents, to rely on their sophisticated reasoning to navigate complex task requirements. However, LLMs are known to unexpectedly falter in simple tasks and under seemingly straightforward circumstances – underscoring the need for better and more diverse evaluation setups to measure their true capabilities. To this end, we choose to study compositional and conditional reasoning, two cornerstones of human cognition, and introduce GroundCocoa – a lexically diverse benchmark connecting these reasoning skills to the real-world problem of flight booking. Our task involves aligning detailed user preferences with available flight options presented in a multiple-choice format. Results indicate a significant disparity in performance among current state-of-the-art LLMs with even the best performing model, GPT-4 Turbo, not exceeding 67% accuracy despite advanced prompting techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google