On scalable oversight with weak LLMs judging strong LLMs

要約

スケーラブルな監視プロトコルは、人間が超人的な AI を正確に監視できるようにすることを目的としています。
この論文では、2 つの AI が裁判官を説得するために競うディベートについて研究します。
コンサルタント会社では、単一の AI が質問する裁判官を説得しようとします。
AI を使用せずに裁判官が単純に答える直接質問応答のベースラインと比較します。
私たちは、AI エージェントと人間の裁判官の代役の両方として大規模言語モデル (LLM) を使用しており、裁判官モデルはエージェント モデルよりも弱いと考えています。
私たちは、情報の非対称性を伴う単一の抽出的 QA タスクに関する以前の研究を拡張し、数学、コーディング、論理、およびマルチモーダル推論の非対称性も含めて、裁判官とエージェントの間のさまざまな非対称性についてベンチマークを行います。
コンサルタントが正解/不正解について議論するようにランダムに割り当てられた場合、議論はすべてのタスクにおいてコンサルタントよりも優れていることがわかりました。
ディベートと直接的な質問応答を比較すると、結果はタスクの種類によって異なります。情報の非対称性がある抽出的 QA タスクでは、ディベートは直接的な質問応答よりも優れていますが、情報の非対称性がない他のタスクでは、結果はまちまちです。
以前の研究では、討論者/コンサルタントに議論すべき答えが割り当てられていました。
代わりに、どの答えを主張するかを裁判官に選択させると、裁判官が議論の場合に比べて、間違った答えに納得することが少なくなることがわかります。
さらに、より強力なディベーターモデルは、以前の研究よりも控えめではあるものの、ジャッジの精度を向上させることがわかりました。

要約(オリジナル)

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI’s compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google