Combining Constraint Programming Reasoning with Large Language Model Predictions

要約

制約プログラミング (CP) と機械学習 (ML) は、CP では「意味」の実装が難しく、ML では構造的制約が難しいため、テキスト生成で課題に直面しています。
この論文では、両方のアプローチを組み合わせ、CP に大規模言語モデル (LLM) を埋め込むことによるソリューションを提案します。
LLM は単語の生成と意味を処理し、CP は構造上の制約を管理します。
このアプローチは、LLM で生成されたドメインを使用した On-the-fly Constraint Programming Search (OTFS) の改良版である GenCP に基づいて構築されています。
標準的な NLP 手法であるビーム検索 (BS) と比較して、この組み合わせアプローチ (GenCP と LLM) は高速でより良い結果を生成し、すべての制約が確実に満たされるようにします。
この CP と ML の融合は、制約下でのテキスト生成を強化するための新たな可能性をもたらします。

要約(オリジナル)

Constraint Programming (CP) and Machine Learning (ML) face challenges in text generation due to CP’s struggle with implementing ‘meaning” and ML’s difficulty with structural constraints. This paper proposes a solution by combining both approaches and embedding a Large Language Model (LLM) in CP. The LLM handles word generation and meaning, while CP manages structural constraints. This approach builds on GenCP, an improved version of On-the-fly Constraint Programming Search (OTFS) using LLM-generated domains. Compared to Beam Search (BS), a standard NLP method, this combined approach (GenCP with LLM) is faster and produces better results, ensuring all constraints are satisfied. This fusion of CP and ML presents new possibilities for enhancing text generation under constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google