Had enough of experts? Quantitative knowledge retrieval from large language models

要約

大規模な言語モデル（LLM）は、説得力のある自然言語シーケンスを生成する能力のために広範囲に研究されていますが、定量的な情報検索の有用性はあまり理解されていません。
ここでは、2つのデータ分析タスクを支援するための定量的知識検索のメカニズムとしてのLLMの実現可能性を調査します。
専門家のような事前知識を引き出し、欠落データを帰属させることにより、ベイジアンワークフローを強化するためにLLMを活用するフレームワークを紹介します。
多様なデータセットでテストされたこのアプローチは、予測精度を改善し、データ要件を削減し、ヘルスケア、環境科学、工学アプリケーションの大きな可能性を提供します。
LLMを「専門家」として扱うことの意味と課題について説明します。

要約(オリジナル)

Large language models (LLMs) have been extensively studied for their abilities to generate convincing natural language sequences, however their utility for quantitative information retrieval is less well understood. Here we explore the feasibility of LLMs as a mechanism for quantitative knowledge retrieval to aid two data analysis tasks: elicitation of prior distributions for Bayesian models and imputation of missing data. We introduce a framework that leverages LLMs to enhance Bayesian workflows by eliciting expert-like prior knowledge and imputing missing data. Tested on diverse datasets, this approach can improve predictive accuracy and reduce data requirements, offering significant potential in healthcare, environmental science and engineering applications. We discuss the implications and challenges of treating LLMs as ‘experts’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google