Quantitative knowledge retrieval from large language models

要約

大規模言語モデル (LLM) は、説得力のある自然言語シーケンスを生成する能力について広く研究されていますが、定量的な情報検索におけるその有用性はあまりよく理解されていません。
この論文では、ベイジアン モデルの事前分布の導出や欠損データの代入などのデータ分析タスクを支援する定量的知識検索のメカニズムとしての LLM の実現可能性を検討します。
私たちは、LLM を科学文献の潜在空間へのインターフェースとして扱い、さまざまなコンテキストやドメインでの応答をより確立されたアプローチと比較する、迅速なエンジニアリング フレームワークを提示します。
LLM を「専門家」として使用することの意味と課題について説明します。

要約(オリジナル)

Large language models (LLMs) have been extensively studied for their abilities to generate convincing natural language sequences, however their utility for quantitative information retrieval is less well understood. In this paper we explore the feasibility of LLMs as a mechanism for quantitative knowledge retrieval to aid data analysis tasks such as elicitation of prior distributions for Bayesian models and imputation of missing data. We present a prompt engineering framework, treating an LLM as an interface to a latent space of scientific literature, comparing responses in different contexts and domains against more established approaches. Implications and challenges of using LLMs as ‘experts’ are discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google