AI-LieDar: Examine the Trade-off Between Utility and Truthfulness in LLM Agents

要約

真実性（事実上の正確さの順守）とユーティリティ（人間のニーズと指示を満たす）はどちらも大規模な言語モデルの基本的な側面ですが、これらの目標はしばしば対立します（たとえば、既知の欠陥のある車を販売します）。
LLMベースのエージェントがマルチターンインタラクティブな設定でこれらのシナリオをどのようにナビゲートするかを研究するフレームワークであるAI-Liedarを提案します。
私たちは、シミュレートされた人間のエージェントとのマルチターン会話の間に真実であることと対立する目標を達成するように指示される現実世界のシナリオのセットを設計します。
大規模な真実性を評価するために、心理文献に触発された真実性検出器を開発して、エージェントの反応を評価します。
私たちの実験は、すべてのモデルが真実であることが50％未満であることを示していますが、真実性と目標の達成度（ユーティリティ）はモデル間で異なります。
さらに、LLMの操縦性を真実性に向けてテストし、モデルが真実または欺cept的であるように指示できることを発見し、真実のモデルでさえも存在します。
これらの発見は、LLMSにおける真実性の複雑な性質を明らかにし、LLMとLLMベースのエージェントの安全で信頼できる展開を確保するためのさらなる研究の重要性を強調しています。

要約(オリジナル)

Truthfulness (adherence to factual accuracy) and utility (satisfying human needs and instructions) are both fundamental aspects of Large Language Models, yet these goals often conflict (e.g., sell a car with known flaws), which makes it challenging to achieve both in real-world deployments. We propose AI-LieDar, a framework to study how LLM-based agents navigate these scenarios in an multi-turn interactive setting. We design a set of real-world scenarios where language agents are instructed to achieve goals that are in conflict with being truthful during a multi-turn conversation with simulated human agents. To evaluate the truthfulness at large scale, we develop a truthfulness detector inspired by psychological literature to assess the agents’ responses. Our experiment demonstrates that all models are truthful less than 50% of the time, though truthfulness and goal achievement (utility) rates vary across models. We further test the steerability of LLMs towards truthfulness, finding that models can be directed to be truthful or deceptive, and even truth-steered models still lie. These findings reveal the complex nature of truthfulness in LLMs and underscore the importance of further research to ensure the safe and reliable deployment of LLMs and LLM-based agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google