Preferential Normalizing Flows

要約

ノイズの多い判断を介して専門家から高次元の確率分布を導き出すことは、難しいことで知られていますが、事前の導き出しや報酬モデリングなど、多くのアプリケーションに役立ちます。
代替案の比較やランク付けなどの優先的な質問のみに基づいた正規化フローとして、専門家の信念密度を導き出す方法を紹介します。
これにより、原理的には任意に柔軟な密度を導き出すことができますが、流量推定は確率質量の崩壊または発散という課題の影響を受けやすく、実際にはそれが困難になります。
我々は、決定理論的な議論を動機として、フローに新しい関数事前分布を導入することでこの問題に取り組み、確率密度が関数空間の最大値として事後推定として推論できることを経験的に示します。
実世界のデータセットに対する汎用の大規模言語モデルの事前信念を含む、シミュレートされた専門家の多変量信念密度を導き出すことによって、私たちの方法を実証します。

要約(オリジナル)

Eliciting a high-dimensional probability distribution from an expert via noisy judgments is notoriously challenging, yet useful for many applications, such as prior elicitation and reward modeling. We introduce a method for eliciting the expert’s belief density as a normalizing flow based solely on preferential questions such as comparing or ranking alternatives. This allows eliciting in principle arbitrarily flexible densities, but flow estimation is susceptible to the challenge of collapsing or diverging probability mass that makes it difficult in practice. We tackle this problem by introducing a novel functional prior for the flow, motivated by a decision-theoretic argument, and show empirically that the belief density can be inferred as the function-space maximum a posteriori estimate. We demonstrate our method by eliciting multivariate belief densities of simulated experts, including the prior belief of a general-purpose large language model over a real-world dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google