Balancing Exploration and Exploitation in LLM using Soft RLLF for Enhanced Negation Understanding

要約

自然言語処理におけるファインチューニングアプローチは、しばしば探索よりも活用に重点を置くが、これは最適なモデルには至らない可能性がある。自然言語の広大な探索空間を考慮すると、この限られた探索は、正確な否定理解と論理的推論能力が重要な、複雑で利害の大きいドメインでのパフォーマンスを制限する可能性がある。この問題に対処するため、我々は論理的フィードバックからの強化学習（RLLF）を活用して、LLMにおける探索と活用の効果的なバランスを作り出す。本アプローチでは、適切なベンチマークデータセットを学習と評価に用いることで、否定理解能力の向上における探索の重要性を強調する。RLLFで強化されたLLMの性能を、RLLFなしで訓練されたベースラインモデルと比較し、このバランスの取れたアプローチの価値を実証する。さらに、転移学習を採用し、否定理解への影響を評価することで、法的AIアプリケーションにおける本手法の可能性を示す。我々の実験結果は、LLMの否定能力を向上させる上で、RLLFを用いて探索と活用のバランスをとることの有効性を示している。このことは、より正確で、信頼性が高く、論理的に一貫した言語モデルを開発する上で重要な意味を持つ。

要約(オリジナル)

Finetuning approaches in NLP often focus on exploitation rather than exploration, which may lead to suboptimal models. Given the vast search space of natural language, this limited exploration can restrict their performance in complex, high-stakes domains, where accurate negation understanding and logical reasoning abilities are crucial. To address this issue, we leverage Reinforcement Learning from Logical Feedback (RLLF) to create an effective balance between exploration and exploitation in LLMs. Our approach employs an appropriate benchmark dataset for training and evaluation, highlighting the importance of exploration in enhancing negation understanding capabilities. We compare the performance of our RLLF-enhanced LLMs with baseline models trained without RLLF, demonstrating the value of this balanced approach. Furthermore, we showcase the potential of our method in legal AI applications by employing transfer learning and evaluating its impact on negation understanding. Our experimental results exhibit the effectiveness of balancing exploration and exploitation with RLLF in improving LLMs’ negation capabilities. This has implications for the development of more accurate, reliable, and logically consistent language models in high-stakes domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL