RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation

要約

私たちは、情報検索の助けを借りて思考の連鎖を反復的に修正することで、幻覚を大幅に軽減しながら、長期的な生成タスクにおける大規模言語モデルの推論と生成能力をどのように大幅に向上させるかを調査します。
特に、提案された方法 — *検索拡張思考* (RAT) — は、最初のゼロショット CoT の後、タスク クエリに関連する取得された情報、現在および過去の思考ステップを使用して各思考ステップを 1 つずつ修正します。
が生成されます。
RAT を GPT-3.5、GPT-4、および CodeLLaMA-7b に適用すると、さまざまな長期世代タスクのパフォーマンスが大幅に向上します。
平均すると、コード生成で 13.63%、数学的推論で 16.96%、クリエイティブ ライティングで 19.2%、具体的なタスク計画で 42.78% と相対的に評価スコアが上昇しました。
デモ ページは https://craftjarvis.github.io/RAT にあります。

要約(オリジナル)

We explore how iterative revising a chain of thoughts with the help of information retrieval significantly improves large language models’ reasoning and generation ability in long-horizon generation tasks, while hugely mitigating hallucination. In particular, the proposed method — *retrieval-augmented thoughts* (RAT) — revises each thought step one by one with retrieved information relevant to the task query, the current and the past thought steps, after the initial zero-shot CoT is generated. Applying RAT to GPT-3.5, GPT-4, and CodeLLaMA-7b substantially improves their performances on various long-horizon generation tasks; on average of relatively increasing rating scores by 13.63% on code generation, 16.96% on mathematical reasoning, 19.2% on creative writing, and 42.78% on embodied task planning. The demo page can be found at https://craftjarvis.github.io/RAT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google