Incentivizing honest performative predictions with proper scoring rules

要約

適切な採点ルールは、予測が結果に影響を与えることはできないと想定し、専門家が信念を正確に報告するよう促します。
私たちはこの仮定を緩和し、予測がパフォーマンス的である場合、つまり、株式市場について公開予測を行う場合など、予測が予測の結果に影響を与える可能性がある場合のインセンティブを調査します。
予測がなされた後、それが専門家の信念を正確に反映している場合、その予測は不動点であると言います。
この設定では、予想されるスコアを最大化するレポートは一般に専門家の信念を反映していないことを示し、そのようなレポートの不正確さには限界を与えます。
バイナリ予測の場合、結果に対する専門家の予測の影響が制限されている場合、最適なレポートが任意に固定点に近づくスコアリング ルールを定義できることを示します。
ただし、これは 3 つ以上の結果を予測する場合には不可能です。
また、おもちゃの設定で数値シミュレーションを実行し、状況によっては限界が厳しく、予測誤差がかなり大きい (5 ～ 10% を超える) ことが多いことを示しています。
最後に、パフォーマンスの安定性を含む最適性の代替概念について議論し、それらの概念が固定点の報告を奨励することを示します。

要約(オリジナル)

Proper scoring rules incentivize experts to accurately report beliefs, assuming predictions cannot influence outcomes. We relax this assumption and investigate incentives when predictions are performative, i.e., when they can influence the outcome of the prediction, such as when making public predictions about the stock market. We say a prediction is a fixed point if it accurately reflects the expert’s beliefs after that prediction has been made. We show that in this setting, reports maximizing expected score generally do not reflect an expert’s beliefs, and we give bounds on the inaccuracy of such reports. We show that, for binary predictions, if the influence of the expert’s prediction on outcomes is bounded, it is possible to define scoring rules under which optimal reports are arbitrarily close to fixed points. However, this is impossible for predictions over more than two outcomes. We also perform numerical simulations in a toy setting, showing that our bounds are tight in some situations and that prediction error is often substantial (greater than 5-10%). Lastly, we discuss alternative notions of optimality, including performative stability, and show that they incentivize reporting fixed points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google