The Isotonic Mechanism for Exponential Family Estimation

要約

2023 年、機械学習に関する国際会議 (ICML) では、複数の投稿がある著者に対し、認識された品質に基づいて投稿をランク付けすることが義務付けられました。
この論文では、アイソトニックメカニズムを指数関数的ファミリー分布に拡張することにより、これらの著者が指定したランキングを使用して、機械学習および人工知能のカンファレンスにおけるピアレビューを強化することを目的としています。
このメカニズムは、作成者が指定したランキングを遵守しながら、元のスコアと厳密に一致する調整されたスコアを生成します。
このメカニズムは広範囲の指数分布族分布に適用可能であるにもかかわらず、このメカニズムの実装には特定の分布形式に関する知識は必要ありません。
著者の有用性が調整されたレビュースコアの凸加法関数の形をとる場合、著者は正確なランキングを提供する動機を得ることができることを実証します。
指数分布族分布の特定のサブクラスについては、質問が投稿間のペア比較のみを含む場合にのみ、著者が真実を報告していることを証明し、真実の情報の引き出しにおけるランキングの最適性を示します。
さらに、調整されたスコアは元のスコアと比較して推定精度を劇的に向上させ、グラウンドトゥルーススコアが総変動の範囲内にある場合にほぼ最小の最適性を達成することを示します。
ICML 2023 ランキング データに対して実施された実験を紹介してこの論文を締めくくります。この実験では、アイソトニック メカニズムを使用した場合に大きな推定ゲインが得られることが示されています。

要約(オリジナル)

In 2023, the International Conference on Machine Learning (ICML) required authors with multiple submissions to rank their submissions based on perceived quality. In this paper, we aim to employ these author-specified rankings to enhance peer review in machine learning and artificial intelligence conferences by extending the Isotonic Mechanism to exponential family distributions. This mechanism generates adjusted scores that closely align with the original scores while adhering to author-specified rankings. Despite its applicability to a broad spectrum of exponential family distributions, implementing this mechanism does not require knowledge of the specific distribution form. We demonstrate that an author is incentivized to provide accurate rankings when her utility takes the form of a convex additive function of the adjusted review scores. For a certain subclass of exponential family distributions, we prove that the author reports truthfully only if the question involves only pairwise comparisons between her submissions, thus indicating the optimality of ranking in truthful information elicitation. Moreover, we show that the adjusted scores improve dramatically the estimation accuracy compared to the original scores and achieve nearly minimax optimality when the ground-truth scores have bounded total variation. We conclude the paper by presenting experiments conducted on the ICML 2023 ranking data, which show significant estimation gain using the Isotonic Mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google