Algebraic Evaluation Theorems

要約

多数票（MV）は、プロトタイプの「群衆の知恵」アルゴリズムです。
MVがグループの決定に最適な場合を考慮した定理Condorcetの1785年ju審\ Emph {Decision}の定理にまでさかのぼります。
定理の根底にある同じエラーの独立性の仮定を使用して、決定のバッチに基づいてju審員の純粋な代数評価（AE）を行うju審員\ emph {emaluation}定理を証明できます。
3人以上のバイナリju審員は、服用したテストでの正確性の2つの可能な統計のみを取得するのに十分です。
AEは3つの方法でMVよりも優れています。
第一に、その経験的仮定はよりゆるく、決定を下すのに50 \％未満の正確なju審員を処理できます。
第二に、エラーの独立性の仮定を考慮して、それらを評価する上でポイントのような精度があります。
この精度により、MVよりも標識精度が高く、経験的な不確実性の境界が付いている多段階的アプローチが可能になります。
そして、第三に、エラー独立性の仮定の失敗について自己説明しています。
American Community Surveyの人口統計データを使用した実験では、MVを超えるAEの実用性を確認しています。
AIの安全性の定理の2つの意味について説明します – 無限の監視チェーン（グレードを等級付けするのは誰ですか？）とスーパーアライメントの問題を終了する原則的な方法（理解できないタスクを実行するエージェントをどのように評価しますか？）。

要約(オリジナル)

Majority voting (MV) is the prototypical “wisdom of the crowd” algorithm. Theorems considering when MV is optimal for group decisions date back to Condorcet’s 1785 jury \emph{decision} theorem. The same error independence assumption underlying the theorem can be used to prove a jury \emph{evaluation} theorem that does purely algebraic evaluation (AE) of juror performance based on a batch of their decisions. Three or more binary jurors are enough to obtain the only two possible statistics of their correctness on a test they took. AE is superior to MV in three ways. First, its empirical assumptions are looser and can handle jurors less than 50\% accurate in making decisions. Second, it has point-like precision in evaluating them given its assumption of error independence. This precision enables a multi-accuracy approach that has higher labeling accuracy than MV and comes with empirical uncertainty bounds. And, third, it is self-alarming about the failure of its error independence assumption. Experiments using demographic data from the American Community Survey confirm the practical utility of AE over MV. Two implications of the theorem for AI safety are discussed – a principled way to terminate infinite monitoring chains (who grades the graders?) and the super-alignment problem (how do we evaluate agents doing tasks we do not understand?).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google