Improving Your Model Ranking on Chatbot Arena by Vote Rigging

要約

Chatbot Arenaは、ペアワイズバトルごとにLLMを評価するための人気のあるプラットフォームであり、ユーザーはランダムにサンプリングされた2つの匿名モデルからの好みの応答に投票します。
Chatbot Arenaは信頼できるLLMランキングリーダーボードと広く見なされていますが、クラウドソーシングの投票がターゲットモデル$ M_ {T} $のランキングを改善（または減少させる）ために装備できることを示します。
最初に、$ m_ {t} $を含む新しいバトルに焦点を当て、透かしまたはバイナリ分類子を介してそれを識別し、$ m_ {t} $ $の勝利に唯一の投票に焦点を当てた簡単なターゲットのみのリギング戦略を導入します。
ただし、Chatbot Arenaには190ドル以上のモデルがあり、平均して新しい戦闘には約1 \％$ $ $ $ $ $ $ MONTが含まれるため、この戦略は実質的に非効率的です。
これを克服するために、$ M_ {t} $がターゲットモデル$ m_ {t} $のランキングに影響を与える可能性があるというチャットボットアリーナのエロレーティングメカニズムを活用して、$ m_ {t} $がターゲットモデルのランキングに影響を与える可能性があるという遍在するリギング戦略を提案します。
戦いに直接関与します。
Chatbot Arena Notebookから約170万ドルの歴史的投票で実験を実施しています。これは、数百票しかリギングしないことにより、遍在するリギング戦略がモデルのランキングを改善できることを示しています。
いくつかの防御メカニズムを評価しましたが、私たちの調査結果は、投票談合を防ぐための継続的な努力の重要性を強調しています。
私たちのコードは、https：//github.com/sail-sg/rigging-chatbotarenaで入手できます。

要約(オリジナル)

Chatbot Arena is a popular platform for evaluating LLMs by pairwise battles, where users vote for their preferred response from two randomly sampled anonymous models. While Chatbot Arena is widely regarded as a reliable LLM ranking leaderboard, we show that crowdsourced voting can be rigged to improve (or decrease) the ranking of a target model $m_{t}$. We first introduce a straightforward target-only rigging strategy that focuses on new battles involving $m_{t}$, identifying it via watermarking or a binary classifier, and exclusively voting for $m_{t}$ wins. However, this strategy is practically inefficient because there are over $190$ models on Chatbot Arena and on average only about $1\%$ of new battles will involve $m_{t}$. To overcome this, we propose omnipresent rigging strategies, exploiting the Elo rating mechanism of Chatbot Arena that any new vote on a battle can influence the ranking of the target model $m_{t}$, even if $m_{t}$ is not directly involved in the battle. We conduct experiments on around $1.7$ million historical votes from the Chatbot Arena Notebook, showing that omnipresent rigging strategies can improve model rankings by rigging only hundreds of new votes. While we have evaluated several defense mechanisms, our findings highlight the importance of continued efforts to prevent vote rigging. Our code is available at https://github.com/sail-sg/Rigging-ChatbotArena.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google