Empirical Investigation of Neural Symbolic Reasoning Strategies

要約

中間推論ステップを生成すると、ニューラル推論の精度が向上します。
ただし、この改善の原因はまだ不明です。
ここでは、象徴的な推論のための中間ステップを生成することの利点を調査して因数分解します。
具体的には、推論戦略 w.r.t を分解します。
ステップの粒度と連鎖戦略。
純粋に記号的な数値推論データセット (例: A=1、B=3、C=A+3、C?) を使用すると、推論戦略の選択がパフォーマンスに大きく影響し、ギャップは外挿によってさらに大きくなることがわかりました。
着丈が長くなります。
驚くべきことに、長さを外挿した場合でも、特定の構成がほぼ完璧なパフォーマンスをもたらすこともわかりました。
私たちの結果は、神経推論モデルの効果的な戦略をさらに探求することの重要性を示しています。

要約(オリジナル)

Neural reasoning accuracy improves when generating intermediate reasoning steps. However, the source of this improvement is yet unclear. Here, we investigate and factorize the benefit of generating intermediate steps for symbolic reasoning. Specifically, we decompose the reasoning strategy w.r.t. step granularity and chaining strategy. With a purely symbolic numerical reasoning dataset (e.g., A=1, B=3, C=A+3, C?), we found that the choice of reasoning strategies significantly affects the performance, with the gap becoming even larger as the extrapolation length becomes longer. Surprisingly, we also found that certain configurations lead to nearly perfect performance, even in the case of length extrapolation. Our results indicate the importance of further exploring effective strategies for neural reasoning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google