Competitions in AI — Robustly Ranking Solvers Using Statistical Resampling

要約

ソルバー コンペティションは、AI やその他の分野の多くの問題を解決するための最先端技術を評価し、進歩させる上で重要な役割を果たします。
特に、AI の多くの分野において、コンテストは長年にわたって研究や応用の指導に多大な影響を及ぼしており、ソルバーがコンテストで上位にランクされることはかなりの重みを持っています。
しかし、競争の結果が、特定の競争で使用されたものとは異なる一連の問題インスタンスに一般化されるとどの程度期待できるでしょうか?
ここでは、統計的リサンプリング手法を使用して、これを調査します。
競争結果の標準的な解釈から得られるランキングは、評価の基礎として使用されるベンチマーク インスタンス セットのわずかな変更にも非常に敏感であるため、同じ基礎となるインスタンス分布から他のサンプルに引き継がれることは期待できないことを示します。
。
この問題に対処するために、リサンプリング パフォーマンス データに基づいて競争結果を統計的に意味のある分析するための新しいアプローチを導入します。
私たちのアプローチは、競合スコアの信頼区間と、誤差が制限された統計的に堅牢なソルバー ランキングを生成します。
最近の SAT、AI プランニング、およびコンピューター ビジョン コンテストに適用された私たちの分析では、単純なスコアリングに基づく公式結果と比較して、ソルバーのパフォーマンスに統計的な関連性が頻繁にあることや、順位の逆転が明らかになりました。

要約(オリジナル)

Solver competitions play a prominent role in assessing and advancing the state of the art for solving many problems in AI and beyond. Notably, in many areas of AI, competitions have had substantial impact in guiding research and applications for many years, and for a solver to be ranked highly in a competition carries considerable weight. But to which extent can we expect competition results to generalise to sets of problem instances different from those used in a particular competition? This is the question we investigate here, using statistical resampling techniques. We show that the rankings resulting from the standard interpretation of competition results can be very sensitive to even minor changes in the benchmark instance set used as the basis for assessment and can therefore not be expected to carry over to other samples from the same underlying instance distribution. To address this problem, we introduce a novel approach to statistically meaningful analysis of competition results based on resampling performance data. Our approach produces confidence intervals of competition scores as well as statistically robust solver rankings with bounded error. Applied to recent SAT, AI planning and computer vision competitions, our analysis reveals frequent statistical ties in solver performance as well as some inversions of ranks compared to the official results based on simple scoring.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google