Robust Knowledge Extraction from Large Language Models using Social Choice Theory

要約

大規模言語モデル (LLM) は、会話エージェント、クリエイティブ ライティング、テキストの改善、一般的なクエリ応答などの幅広いアプリケーションをサポートする可能性があります。
ただし、これらはランダムに回答を生成し、通常は堅牢ではないため、医療などのリスクの高い分野でのクエリ応答には適していません。同じクエリであっても、複数回プロンプトが表示されると異なる回答が得られる可能性があります。
LLM クエリの堅牢性を向上させるために、ランク付けクエリを繰り返し使用し、社会選択理論の方法を使用してクエリを集約することを提案します。
私たちは、医療や障害診断などの診断設定におけるクエリのランク付けを研究し、文献からの Partial Borda Choice 関数を適用して複数のクエリ結果をマージする方法について説明します。
私たちの設定におけるいくつかの追加の興味深い特性について議論し、私たちのアプローチの堅牢性を経験的に評価します。

要約(オリジナル)

Large-language models (LLMs) have the potential to support a wide range of applications like conversational agents, creative writing, text improvement, and general query answering. However, they are ill-suited for query answering in high-stake domains like medicine because they generate answers at random and their answers are typically not robust – even the same query can result in different answers when prompted multiple times. In order to improve the robustness of LLM queries, we propose using ranking queries repeatedly and to aggregate the queries using methods from social choice theory. We study ranking queries in diagnostic settings like medical and fault diagnosis and discuss how the Partial Borda Choice function from the literature can be applied to merge multiple query results. We discuss some additional interesting properties in our setting and evaluate the robustness of our approach empirically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google