Designing a Dashboard for Transparency and Control of Conversational AI

要約

会話型 LLM はブラック ボックス システムとして機能し、ユーザーはその出力がなぜ表示されるのか推測したままになります。
この透明性の欠如は、特に偏見と真実性に関する懸念を考慮すると、潜在的に問題となる可能性があります。
この問題に対処するために、チャットボットの透明性を高めることを目的とした、エンドツーエンドのプロトタイプ、つまりユーザー エクスペリエンス デザインと接続された解釈可能性テクニックを紹介します。
まず、著名なオープンソース LLM が「ユーザー モデル」を持っているという証拠を示すことから始めます。システムの内部状態を調べると、ユーザーの年齢、性別、教育レベル、社会経済的地位に関連するデータを抽出できます。
次に、このユーザー モデルをリアルタイムで表示する、チャットボット インターフェイスに付随するダッシュボードの設計について説明します。
ダッシュボードを使用して、ユーザー モデルとシステムの動作を制御することもできます。
最後に、ユーザーが計測システムと会話した研究について説明します。
私たちの結果は、ユーザーが内部状態を見ることを高く評価しており、それが偏った行動を明らかにし、コントロールの感覚を高めるのに役立つことを示唆しています。
参加者はまた、設計と機械学習の研究の両方の将来の方向性を示す貴重な提案を行いました。
TalkTuner システムのプロジェクト ページとビデオ デモは、https://bit.ly/talktuner-project-page から入手できます。

要約(オリジナル)

Conversational LLMs function as black box systems, leaving users guessing about why they see the output they do. This lack of transparency is potentially problematic, especially given concerns around bias and truthfulness. To address this issue, we present an end-to-end prototype-connecting interpretability techniques with user experience design-that seeks to make chatbots more transparent. We begin by showing evidence that a prominent open-source LLM has a ‘user model’: examining the internal state of the system, we can extract data related to a user’s age, gender, educational level, and socioeconomic status. Next, we describe the design of a dashboard that accompanies the chatbot interface, displaying this user model in real time. The dashboard can also be used to control the user model and the system’s behavior. Finally, we discuss a study in which users conversed with the instrumented system. Our results suggest that users appreciate seeing internal states, which helped them expose biased behavior and increased their sense of control. Participants also made valuable suggestions that point to future directions for both design and machine learning research. The project page and video demo of our TalkTuner system are available at https://bit.ly/talktuner-project-page

arxiv情報

提供元, 利用サービス

arxiv.jp, Google