AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling

要約

大規模な言語モデル（LLMS）は、さまざまなドメインで幅広い情報を取得します。
ただし、それらの計算の複雑さ、コスト、および透明性の欠如は、プライバシーと解釈可能性が最も重要な予測タスクに対する直接的なアプリケーションを妨げることがよくあります。
ヘルスケア、生物学、金融などの分野では、専門的で解釈可能な線形モデルには依然としてかなりの価値があります。
このようなドメインでは、ラベル付きデータは取得するのが不足または高価な場合があります。
モデルパラメーターを介した適切に指定された事前分布は、ベイジアン推論を通じて学習のサンプルの複雑さを減らすことができます。
ただし、専門家の事前に誘発するのは時間がかかる場合があります。
したがって、LLMSから知識を抽出し、予測モデルの前forを構築するためのオートエリキティを導入します。
これらのプライアーは有益であり、自然言語を使用して洗練できることを示しています。
コンテキスト内学習と対照的なオートエリキスを対照的に慎重な研究を行い、2つの方法間でモデル選択を実行する方法を示します。
オートエリキティは、情報のないプライアーの誤差を大幅に減らし、ラベルを使用してより少ないラベルを使用し、コンテキスト内学習よりも一貫してアウトパフォームする可能性のある事前に得られることがわかります。
認知症のある人々のセンサー記録から尿路感染症の新しい予測モデルを構築する際に、自動弾性が6か月以上のラベル付けの取り組みを節約することを示します。

要約(オリジナル)

Large language models (LLMs) acquire a breadth of information across various domains. However, their computational complexity, cost, and lack of transparency often hinder their direct application for predictive tasks where privacy and interpretability are paramount. In fields such as healthcare, biology, and finance, specialised and interpretable linear models still hold considerable value. In such domains, labelled data may be scarce or expensive to obtain. Well-specified prior distributions over model parameters can reduce the sample complexity of learning through Bayesian inference; however, eliciting expert priors can be time-consuming. We therefore introduce AutoElicit to extract knowledge from LLMs and construct priors for predictive models. We show these priors are informative and can be refined using natural language. We perform a careful study contrasting AutoElicit with in-context learning and demonstrate how to perform model selection between the two methods. We find that AutoElicit yields priors that can substantially reduce error over uninformative priors, using fewer labels, and consistently outperform in-context learning. We show that AutoElicit saves over 6 months of labelling effort when building a new predictive model for urinary tract infections from sensor recordings of people living with dementia.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google