Using Large Language Models for Expert Prior Elicitation in Predictive Modelling

要約

多様なデータでトレーニングされた大規模言語モデル (LLM) は、さまざまなドメインにわたる広範な情報を効果的に取得します。
ただし、計算の複雑さ、コスト、透明性の欠如により、特殊なタスクに直接適用することが妨げられます。
臨床研究などの分野では、専門家の注釈や予測モデルに関する事前知識を取得するには、コストと時間がかかることがよくあります。
この研究では、予測モデルの専門家の事前分布を導き出すために LLM を使用することを提案しています。
このアプローチは、言語モデルが直接予測を行うという、コンテキスト内学習の代替手段も提供します。
この研究では、LLM によって導出された事前確率と情報のない事前確率を比較し、LLM がパラメーター分布を忠実に生成するかどうかを評価し、コンテキスト内学習と事前導出のためのモデル選択戦略を提案します。
私たちの調査結果は、LLM によって導出された事前パラメータ分布は、低データ設定における情報のない事前分布と比較して、予測誤差を大幅に低減することを示しています。
これを臨床問題に適用すると、必要な生体サンプルが減り、コストとリソースが削減されます。
また、事前の引き出しは、低コストでコンテキスト学習よりも一貫して優れたパフォーマンスと信頼性を証明しているため、私たちの環境では推奨される代替手段となっています。
私たちは、臨床応用を含むさまざまなユースケースにわたるこの方法の有用性を実証します。
感染予測の場合、LLM 誘発事前分布を使用すると、研究の 200 日前に、情報のない事前分布と同じ精度を達成するために必要なラベルの数が 55% 減少しました。

要約(オリジナル)

Large language models (LLMs), trained on diverse data effectively acquire a breadth of information across various domains. However, their computational complexity, cost, and lack of transparency hinder their direct application for specialised tasks. In fields such as clinical research, acquiring expert annotations or prior knowledge about predictive models is often costly and time-consuming. This study proposes the use of LLMs to elicit expert prior distributions for predictive models. This approach also provides an alternative to in-context learning, where language models are tasked with making predictions directly. In this work, we compare LLM-elicited and uninformative priors, evaluate whether LLMs truthfully generate parameter distributions, and propose a model selection strategy for in-context learning and prior elicitation. Our findings show that LLM-elicited prior parameter distributions significantly reduce predictive error compared to uninformative priors in low-data settings. Applied to clinical problems, this translates to fewer required biological samples, lowering cost and resources. Prior elicitation also consistently outperforms and proves more reliable than in-context learning at a lower cost, making it a preferred alternative in our setting. We demonstrate the utility of this method across various use cases, including clinical applications. For infection prediction, using LLM-elicited priors reduced the number of required labels to achieve the same accuracy as an uninformative prior by 55%, 200 days earlier in the study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google