Faithful Question Answering with Monte-Carlo Planning

要約

タイトル：モンテカルロ計画による忠実な質問応答
要約：
– 大規模言語モデルは驚くべき質問応答性能を発揮するが、モデルが忠実に追従する中間推論ステップを明らかにすることは難しい。
– 本論文では、FAME（MontE-carlo planningによる忠実な質問応答） を提案し、忠実な推論ステップに基づく質問回答を行う。
– 推論ステップは構造化推論木として組織化され、前提がどのように使用されて中間結論が導かれたかが示され、回答の正しさを証明できる。
– モジュール化された環境とコントローラーの相互作用によってタスクを離散的な意思決定問題として定式化し、Monte-Carlo計画アルゴリズムを導入して、先見的な探索と高品質なステップへのアクション選択を行う。
– FAMEは、標準ベンチマークで最先端の性能を発揮し、言語モデルよりもはるかに小さいモデルサイズで有効で忠実な推論ステップを生成することができる。

要約(オリジナル)

Although large language models demonstrate remarkable question-answering performances, revealing the intermediate reasoning steps that the models faithfully follow remains challenging. In this paper, we propose FAME (FAithful question answering with MontE-carlo planning) to answer questions based on faithful reasoning steps. The reasoning steps are organized as a structured entailment tree, which shows how premises are used to produce intermediate conclusions that can prove the correctness of the answer. We formulate the task as a discrete decision-making problem and solve it through the interaction of a reasoning environment and a controller. The environment is modular and contains several basic task-oriented modules, while the controller proposes actions to assemble the modules. Since the search space could be large, we introduce a Monte-Carlo planning algorithm to do a look-ahead search and select actions that will eventually lead to high-quality steps. FAME achieves state-of-the-art performance on the standard benchmark. It can produce valid and faithful reasoning steps compared with large language models with a much smaller model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI