HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning

要約

LLMSは、自然または象徴的な言語を通じて論理的および数学的推論にアプローチします。
自然言語は人間のアクセス可能な柔軟性を提供しますが、あいまいさに苦しんでいますが、象徴的な推論は、厳格なドメイン制約を犠牲にして、正確で機械で実行可能な推論を提供します。
Hybridmindを紹介します。これは、各推論問題の最適な推論アプローチを選択する適応戦略です。
広範な実験を通じて、最先端のLLMSと微調整されたオープンソースモデルを使用したプロンプトベースのアプローチの両方を評価します。
メタセレクターとしての微調整されたllama-3.1-8b-instructは、gpt-4oの自然言語の推論を、フォリオで4.4 \％、数学で1.3 \％よりも優れていることがわかります。
さらに顕著なのは、GPT-3.5-ターボをプロンプトのメタセレクターとして使用すると、GPT-4Oと比較してFolioの挑戦的なサブセットが10 \％改善されます。
将来の研究をサポートするために、コードとデータをリリースします。

要約(オリジナル)

LLMs approach logical and mathematical reasoning through natural or symbolic languages. While natural language offers human-accessible flexibility but suffers from ambiguity, symbolic reasoning provides precise, machine-executable inferences at the cost of strict domain constraints. We introduce HYBRIDMIND, an adaptive strategy that selects the optimal reasoning approach for each reasoning problem. Through extensive experiments, we evaluate both prompting-based approaches with state-of-the-art LLMs and fine-tuned open-source models. We find that fine-tuning LLaMA-3.1-8B-Instruct as a meta-selector outperforms GPT-4o’s natural language reasoning by 4.4\% on FOLIO and 1.3\% on MATH. More notably, using GPT-3.5-turbo as a prompted meta-selector yields a 10\% improvement on FOLIO’s challenging subset compared to GPT-4o. We will release our code and data to support future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google