AI-LieDar: Examine the Trade-off Between Utility and Truthfulness in LLM Agents

要約

LLM を安全かつ正常に導入するには、真実性と実用性の目標を同時に満たす必要があります。
しかし、ユーザーの指示が曖昧で誤解を招くこともあって、これら 2 つの目標は競合することがよくあります (たとえば、欠陥のある車を販売する中古車セールスマンを AI エージェントが支援するなど)。
私たちは、LLM ベースのエージェントがマルチターンのインタラクティブな設定で実用性と真実性が矛盾するシナリオをどのようにナビゲートするかを研究するためのフレームワークである AI-LieDar を提案します。
私たちは、言語エージェントが、シミュレートされた人間のエージェントとの複数ターンの会話中に真実であることと矛盾する目標を達成するように指示される一連の現実的なシナリオを設計します。
大規模な真実性を評価するために、心理学の文献にヒントを得てエージェントの反応を評価する真実性検出器を開発しました。
私たちの実験では、真実性と目標達成 (有用性) 率はモデルによって異なりますが、すべてのモデルが真実である確率は 50% 未満であることが実証されました。
さらに、LLM の真実性への操作性をテストし、モデルが悪意のある欺瞞指示に従い、真実を操作したモデルであっても嘘をつく可能性があることを発見しました。
これらの発見は、LLM における真実性の複雑な性質を明らかにし、LLM と AI エージェントの安全で信頼性の高い展開を確保するためのさらなる研究の重要性を強調しています。

要約(オリジナル)

To be safely and successfully deployed, LLMs must simultaneously satisfy truthfulness and utility goals. Yet, often these two goals compete (e.g., an AI agent assisting a used car salesman selling a car with flaws), partly due to ambiguous or misleading user instructions. We propose AI-LieDar, a framework to study how LLM-based agents navigate scenarios with utility-truthfulness conflicts in a multi-turn interactive setting. We design a set of realistic scenarios where language agents are instructed to achieve goals that are in conflict with being truthful during a multi-turn conversation with simulated human agents. To evaluate the truthfulness at large scale, we develop a truthfulness detector inspired by psychological literature to assess the agents’ responses. Our experiment demonstrates that all models are truthful less than 50% of the time, although truthfulness and goal achievement (utility) rates vary across models. We further test the steerability of LLMs towards truthfulness, finding that models follow malicious instructions to deceive, and even truth-steered models can still lie. These findings reveal the complex nature of truthfulness in LLMs and underscore the importance of further research to ensure the safe and reliable deployment of LLMs and AI agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google