要約
大規模言語モデル（LLM）によって駆動されるエージェント型人工知能（AI）との自然言語インタラクションは、近い将来に支配的なパラダイムであり続けると予想される。人間は本能的に心の状態とコミュニケーションを一致させるが、これは心の理論（ToM）として知られる能力である。本研究では、オープンソースの言語モデル（LLaMA）がToMに関連する情報をどの程度取り込み、保持できるか、また、生成された応答において、それがどの程度効果的に一貫したToM推論に寄与するかを検証する。さらに、信念、欲求、意図などのToM関連要素を明示的に操作することで、応答の整合性を高めることができるかどうかを調査する。2つのLLaMA 3変種を用いた実験では、ToMに基づいたアライメントを取り入れることで、応答の質が向上することが実証され、3Bモデルと8Bモデルでそれぞれ67％と63％の勝率を達成した。これらの結果は、LLMベースの会話エージェントにおけるアライメントを改善するToM駆動戦略の可能性を強調するものである。
要約(オリジナル)
Natural language interaction with agentic Artificial Intelligence (AI), driven by Large Language Models (LLMs), is expected to remain a dominant paradigm in the near future. While humans instinctively align their communication with mental states — an ability known as Theory of Mind (ToM), current LLM powered systems exhibit significant limitations in this regard. This study examines the extent to which open source language models (LLaMA) can capture and preserve ToM related information and how effectively it contributes to consistent ToM reasoning in generated responses. We further investigate whether explicit manipulation of ToM related components, such as beliefs, desires, and intentions, can enhance response alignment. Experiments on two LLaMA 3 variants demonstrate that incorporating ToM informed alignment improves response quality, achieving win rates of 67 and 63 percent for the 3B and 8B models, respectively. These findings highlight the potential of ToM driven strategies to improve alignment in LLM based conversational agents.
arxiv情報
| 著者 | Mehdi Jafari,Devin Yuncheng Hua,Hao Xue,Flora Salim |
| 発行日 | 2025-03-03 05:44:29+00:00 |
| arxivサイト | arxiv_id(pdf) |