Natural Language Embedded Programs for Hybrid Language Symbolic Reasoning

要約

記号的および数値的推論を必要とするタスクを解決するために、自然言語表現に対して計算を実行するにはどうすればよいでしょうか?
私たちは、数学/記号推論、自然言語理解、および命令後のタスクに対処するための統合フレームワークとして、自然言語埋め込みプログラム (NLEP) を提案します。
私たちのアプローチは、言語モデルに、構造化された知識の自然言語表現を含むデータ構造に対する関数を定義する完全な Python プログラムを生成するよう促します。
次に、Python インタープリターが生成されたコードを実行し、出力を出力します。
タスク全般のプロンプトを使用しているにもかかわらず、このアプローチは、数学や記号推論、テキスト分類、質問応答、指示のフォローなど、さまざまなタスクにわたって強力なベースラインを改善できることがわかりました。
さらに、生成されたプログラムは多くの場合解釈可能であり、中間推論ステップの事後検証が可能であることがわかりました。

要約(オリジナル)

How can we perform computations over natural language representations to solve tasks that require symbolic and numeric reasoning? We propose natural language embedded programs (NLEP) as a unifying framework for addressing math/symbolic reasoning, natural language understanding, and instruction following tasks. Our approach prompts a language model to generate full Python programs that define functions over data structures which contain natural language representations of structured knowledge. A Python interpreter then executes the generated code and prints the output. Despite using a task-general prompt, we find that this approach can improve upon strong baselines across a range of different tasks including math and symbolic reasoning, text classification, question answering, and instruction following. We further find the generated programs are often interpretable and enable post-hoc verification of the intermediate reasoning steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google