Less or More: Towards Glanceable Explanations for LLM Recommendations Using Ultra-Small Devices

要約

大規模な言語モデル（LLM）は、日常のアクションを個人AIアシスタントとして推奨する際に顕著な可能性を示していますが、説明可能なAI（XAI）技術がますます利用されており、ユーザーが推奨が与えられる理由を理解するのに役立ちます。
今日のAIアシスタントは、多くの場合、スクリーンスペースが限られているスマートウォッチなどの超小型デバイスにあります。
しかし、LLM生成された説明の冗長性は、このような超小型デバイスでグランス可能なLLMの説明を提供することを困難にします。
これに対処するために、1）プロンプト中に定義されたコンテキストコンポーネントを使用してLLMの説明テキストを空間的に構成し、2）信頼レベルに基づいてユーザーに一時的に適応的な説明を提示しました。
ユーザー調査を実施して、これらのアプローチが、超小型デバイスでLLMの推奨事項と説明と対話する際にユーザーエクスペリエンスにどのように影響したかを理解しました。
結果は、構造化された説明が、説明を読むときにユーザーのアクションへの時間と認知負荷を短縮することを示しました。
常に構造化された説明により、ユーザーのAI推奨事項の受け入れが増加しました。
ただし、ユーザーは、十分で読みやすい詳細がないため、構造化された説明と比較して構造化された説明に満足していませんでした。
さらに、適応的に提示する構造化された説明は、常にオンになっている構造化された説明と比較して、AIのユーザー認識を改善するのにあまり効果的ではありませんでした。
ユーザーのインタビューのフィードバックとともに、結果は、超小型デバイスに表示されるLLM説明のコンテンツとタイミングをパーソナライズする際に留意するようにデザインの影響をもたらしました。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable potential in recommending everyday actions as personal AI assistants, while Explainable AI (XAI) techniques are being increasingly utilized to help users understand why a recommendation is given. Personal AI assistants today are often located on ultra-small devices such as smartwatches, which have limited screen space. The verbosity of LLM-generated explanations, however, makes it challenging to deliver glanceable LLM explanations on such ultra-small devices. To address this, we explored 1) spatially structuring an LLM’s explanation text using defined contextual components during prompting and 2) presenting temporally adaptive explanations to users based on confidence levels. We conducted a user study to understand how these approaches impacted user experiences when interacting with LLM recommendations and explanations on ultra-small devices. The results showed that structured explanations reduced users’ time to action and cognitive load when reading an explanation. Always-on structured explanations increased users’ acceptance of AI recommendations. However, users were less satisfied with structured explanations compared to unstructured ones due to their lack of sufficient, readable details. Additionally, adaptively presenting structured explanations was less effective at improving user perceptions of the AI compared to the always-on structured explanations. Together with users’ interview feedback, the results led to design implications to be mindful of when personalizing the content and timing of LLM explanations that are displayed on ultra-small devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google