Revealing and Mitigating the Challenge of Detecting Character Knowledge Errors in LLM Role-Playing

要約

大規模な言語モデル（LLM）のロールプレイングは、広範囲にわたる注目を集めています。
本物のキャラクターの知識は、現実的なLLMロールプレイングエージェントを構築するために重要です。
ただし、既存の作業は通常、役割を果たしながら、文字の既知の知識エラー（KKE）および未知の知識エラー（UKE）を検出するLLMSの能力の調査を見落としており、キャラクタートレーニング可能なコーパスの低品質の自動構造につながります。
この論文では、KKEとUKEのエラーを検出するLLMSの能力を評価するために、ロールケベンチを提案します。
結果は、最新のLLMでさえ、特によく知られている知識に関しては、これら2つのタイプのエラーを効果的に検出するのに苦労していることを示しています。
さまざまな推論戦略を実験し、エージェントベースの推論方法、自己リクレクションと自己疑念（S $^2 $ rd）を提案し、エラー検出機能を改善する可能性をさらに調査しました。
実験は、この方法がエラーキャラクターの知識を検出するLLMSの能力を効果的に改善することを示していますが、それは継続的な注意を必要とする問題のままです。

要約(オリジナル)

Large language model (LLM) role-playing has gained widespread attention. Authentic character knowledge is crucial for constructing realistic LLM role-playing agents. However, existing works usually overlook the exploration of LLMs’ ability to detect characters’ known knowledge errors (KKE) and unknown knowledge errors (UKE) while playing roles, which would lead to low-quality automatic construction of character trainable corpus. In this paper, we propose RoleKE-Bench to evaluate LLMs’ ability to detect errors in KKE and UKE. The results indicate that even the latest LLMs struggle to detect these two types of errors effectively, especially when it comes to familiar knowledge. We experimented with various reasoning strategies and propose an agent-based reasoning method, Self-Recollection and Self-Doubt (S$^2$RD), to explore further the potential for improving error detection capabilities. Experiments show that our method effectively improves the LLMs’ ability to detect error character knowledge, but it remains an issue that requires ongoing attention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google