RISCORE: Enhancing In-Context Riddle Solving in Language Models through Context-Reconstructed Example Augmentation

要約

謎解きには高度な推論スキルが必要であり、LLM は抽象的思考と創造的な問題解決に取り組む必要があり、多くの場合、認知能力の限界が明らかになります。
この論文では、多肢選択形式を使用して LLM の謎解き能力を検証し、さまざまなプロンプト手法が、多様な推論スキルを必要とする謎のパフォーマンスにどのような影響を与えるかを調査します。
結果を向上させるために、RISCORE (RIddle Solving with COntext REcontruciton) を導入します。これは、文脈に応じて再構築された文ベースのパズルを生成および利用し、元の例と組み合わせて少数ショットの例を作成する、新しい完全に自動化されたプロンプト手法です。
私たちの実験では、RISCORE が垂直思考タスクと水平思考タスクの両方で言語モデルのパフォーマンスを大幅に向上させ、さまざまな少数ショット設定全体で従来の見本選択戦略を上回っていることが実証されました。

要約(オリジナル)

Riddle-solving requires advanced reasoning skills, pushing LLMs to engage in abstract thinking and creative problem-solving, often revealing limitations in their cognitive abilities. In this paper, we examine the riddle-solving capabilities of LLMs using a multiple-choice format, exploring how different prompting techniques impact performance on riddles that demand diverse reasoning skills. To enhance results, we introduce RISCORE (RIddle Solving with COntext REcontruciton) a novel fully automated prompting method that generates and utilizes contextually reconstructed sentence-based puzzles in conjunction with the original examples to create few-shot exemplars. Our experiments demonstrate that RISCORE significantly improves the performance of language models in both vertical and lateral thinking tasks, surpassing traditional exemplar selection strategies across a variety of few-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google