K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

要約

視覚生成モデルの急速な進歩には、効率的で信頼性の高い評価方法が必要です。
モデルの比較に関するユーザーの投票を集めるアリーナ プラットフォームは、人間の好みに基づいてモデルをランク付けできます。
しかし、従来のアリーナ手法は確立されているものの、ランキングを収束させるために過度の比較が必要であり、投票時の選好ノイズの影響を受けやすいため、現代の評価課題に合わせたより良いアプローチの必要性が示唆されています。
このペーパーでは、重要な洞察に基づいた効率的で信頼性の高いプラットフォームである K-Sort Arena を紹介します。画像とビデオはテキストよりも知覚的な直観性が高く、複数のサンプルを同時に迅速に評価できます。
その結果、K-Sort Arena は K ワイズ比較を採用し、K モデルが自由参加の競争に参加できるようにし、ペアワイズ比較よりもはるかに豊富な情報を生成します。
システムの堅牢性を高めるために、確率モデリングとベイジアン更新手法を活用します。
より有益な比較を容易にするために、探索と活用に基づいたマッチメイキング戦略を提案します。
私たちの実験では、K-Sort Arena は広く使用されている ELO アルゴリズムと比較して 16.3 倍速い収束を示しました。
優位性をさらに検証し、包括的なリーダーボードを取得するために、多数の最先端のテキストから画像へのモデルおよびテキストからビデオへのモデルのクラウドソース評価を通じて人間のフィードバックを収集します。
高い効率性のおかげで、K-Sort Arena は継続的に新しいモデルを組み込み、最小限の投票でリーダーボードを更新できます。
私たちのプロジェクトは数か月にわたる内部テストを経て、現在 https://huggingface.co/spaces/ksort/K-Sort-Arena で利用可能です。

要約(オリジナル)

The rapid advancement of visual generative models necessitates efficient and reliable evaluation methods. Arena platform, which gathers user votes on model comparisons, can rank models with human preferences. However, traditional Arena methods, while established, require an excessive number of comparisons for ranking to converge and are vulnerable to preference noise in voting, suggesting the need for better approaches tailored to contemporary evaluation challenges. In this paper, we introduce K-Sort Arena, an efficient and reliable platform based on a key insight: images and videos possess higher perceptual intuitiveness than texts, enabling rapid evaluation of multiple samples simultaneously. Consequently, K-Sort Arena employs K-wise comparisons, allowing K models to engage in free-for-all competitions, which yield much richer information than pairwise comparisons. To enhance the robustness of the system, we leverage probabilistic modeling and Bayesian updating techniques. We propose an exploration-exploitation-based matchmaking strategy to facilitate more informative comparisons. In our experiments, K-Sort Arena exhibits 16.3x faster convergence compared to the widely used ELO algorithm. To further validate the superiority and obtain a comprehensive leaderboard, we collect human feedback via crowdsourced evaluations of numerous cutting-edge text-to-image and text-to-video models. Thanks to its high efficiency, K-Sort Arena can continuously incorporate emerging models and update the leaderboard with minimal votes. Our project has undergone several months of internal testing and is now available at https://huggingface.co/spaces/ksort/K-Sort-Arena

arxiv情報

提供元, 利用サービス

arxiv.jp, Google