LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language

要約

機械学習の実践者は、事前の知識や信念を予測モデルに正式に統合する際に大きな課題に直面することが多く、微妙な文脈を意識した分析の可能性が制限されます。
さらに、この事前知識を確率モデリングに統合するために必要な専門知識により、通常、これらのモデルの適用は専門家に限定されます。
私たちの目標は、ユーザーの事前知識を説明する自然言語テキストに基づいて、数値データを処理し、任意の場所で確率的予測を行うことができる回帰モデルを構築することです。
大規模言語モデル (LLM) は、1) ユーザーが自然言語で専門家の洞察を組み込むことができるインターフェイスを提供し、2) ユーザーが LLM にエンコードされた潜在的な問題関連の知識を活用する機会を提供するため、このようなツールを設計するための有用な出発点となります。
自分自身が無いのかもしれない。
まず、LLM から明示的で一貫した数値予測分布を導き出すための戦略を探索します。
私たちは、予測、多次元回帰、ブラックボックス最適化、画像モデリングなどの設定で、任意の数の量にわたって、LLM プロセスと呼ぶこれらの同時予測分布を調べます。
私たちは、一貫した予測分布を引き出すためのプロンプトの実践的な詳細を調査し、回帰におけるその有効性を実証します。
最後に、テキストを数値予測に有効に組み込み、予測パフォーマンスを向上させ、定性的な説明を反映する定量的な構造を提供する能力を実証します。
これにより、LLM が暗黙的にエンコードする豊富で根拠のある仮説空間の探索を開始できるようになります。

要約(オリジナル)

Machine learning practitioners often face significant challenges in formally integrating their prior knowledge and beliefs into predictive models, limiting the potential for nuanced and context-aware analyses. Moreover, the expertise needed to integrate this prior knowledge into probabilistic modeling typically limits the application of these models to specialists. Our goal is to build a regression model that can process numerical data and make probabilistic predictions at arbitrary locations, guided by natural language text which describes a user’s prior knowledge. Large Language Models (LLMs) provide a useful starting point for designing such a tool since they 1) provide an interface where users can incorporate expert insights in natural language and 2) provide an opportunity for leveraging latent problem-relevant knowledge encoded in LLMs that users may not have themselves. We start by exploring strategies for eliciting explicit, coherent numerical predictive distributions from LLMs. We examine these joint predictive distributions, which we call LLM Processes, over arbitrarily-many quantities in settings such as forecasting, multi-dimensional regression, black-box optimization, and image modeling. We investigate the practical details of prompting to elicit coherent predictive distributions, and demonstrate their effectiveness at regression. Finally, we demonstrate the ability to usefully incorporate text into numerical predictions, improving predictive performance and giving quantitative structure that reflects qualitative descriptions. This lets us begin to explore the rich, grounded hypothesis space that LLMs implicitly encode.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google