DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines

要約

言語モデル(LM)呼び出しの連結は、新しいプログラミング手法に拍車をかけているが、LMが重要な制約を確実に守るためには、発見的な「プロンプトエンジニアリング」が必要である。我々は、LMが満たすべき計算制約を表現するためのプログラミング構文であるLMアサーションを紹介する。また、LMアサーションを用いたプログラムをDSPyでコンパイルし、より信頼性の高い正確なシステムを構築するための新しい戦略を提案する。また、LMによる自動的な自己洗練のために、推論時にアサーションを使用する戦略を提案する。テキスト生成に関する4つの多様なケーススタディについて報告し、LMアサーションが、課されたルールへの準拠だけでなく、下流のタスク性能も向上させ、最大164%の頻度で制約を通過させ、最大37%の高品質な応答を生成することを発見した。LMアサーションのリファレンス実装は、https://github.com/stanfordnlp/dspy のDSPyに統合されている。

要約(オリジナル)

Chaining language model (LM) calls as composable modules is fueling a new way of programming, but ensuring LMs adhere to important constraints requires heuristic ‘prompt engineering’. We introduce LM Assertions, a programming construct for expressing computational constraints that LMs should satisfy. We integrate our constructs into the recent DSPy programming model for LMs, and present new strategies that allow DSPy to compile programs with LM Assertions into more reliable and accurate systems. We also propose strategies to use assertions at inference time for automatic self-refinement with LMs. We report on four diverse case studies for text generation and find that LM Assertions improve not only compliance with imposed rules but also downstream task performance, passing constraints up to 164% more often and generating up to 37% more higher-quality responses. Our reference implementation of LM Assertions is integrated into DSPy at https://github.com/stanfordnlp/dspy

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL