Rapid Integration of LLMs in Healthcare Raises Ethical Concerns: An Investigation into Deceptive Patterns in Social Robots

要約

医療分野では会話型エージェントの使用が増えており、大規模言語モデル (LLM) の統合によりその機能が大幅に強化されました。
LLM をソーシャル ロボットに統合すると、より自然な対話が可能になる可能性があります。
ただし、LLM は多くの利点を約束する一方で、特に幻覚や欺瞞的なパターンの問題に関して重大な倫理的懸念も引き起こします。
このケーススタディでは、ロボットに統合された市販の LLM ベースのケア ソフトウェアにおける欺瞞的な動作の重大なパターンを観察しました。
LLM を搭載したロボットは、服薬リマインダー機能があると誤って主張しました。
これらのシステムは、ユーザーが服薬スケジュールを管理できることを保証するだけでなく、この機能が欠けているにもかかわらず、この機能を積極的に提案しました。
この欺瞞的な動作は、信頼性が最優先される医療環境において重大なリスクをもたらします。
私たちの調査結果は、医療分野におけるLLM統合ロボットの導入をめぐる倫理的および安全性の懸念を浮き彫りにし、脆弱な人々に対する潜在的に有害な結果を防ぐための監視の必要性を強調しています。

要約(オリジナル)

Conversational agents are increasingly used in healthcare, and the integration of Large Language Models (LLMs) has significantly enhanced their capabilities. When integrated into social robots, LLMs offer the potential for more natural interactions. However, while LLMs promise numerous benefits, they also raise critical ethical concerns, particularly around the issue of hallucinations and deceptive patterns. In this case study, we observed a critical pattern of deceptive behavior in commercially available LLM-based care software integrated into robots. The LLM-equipped robot falsely claimed to have medication reminder functionalities. Not only did these systems assure users of their ability to manage medication schedules, but they also proactively suggested this capability, despite lacking it. This deceptive behavior poses significant risks in healthcare environments, where reliability is paramount. Our findings highlights the ethical and safety concerns surrounding the deployment of LLM-integrated robots in healthcare, emphasizing the need for oversight to prevent potentially harmful consequences for vulnerable populations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google