Conversational AI Threads for Visualizing Multidimensional Datasets

要約

生成大規模言語モデル (LLM) はデータ分析における可能性を示していますが、その完全な機能はまだ解明されていません。
私たちの研究では、会話型インターフェイスを介してビジュアライゼーションを作成および改良するための LLM の機能を調査しています。
私たちは LLM を使用して、視覚分析を行うためのチャットボットの使用を調査した以前のオズの魔法使の研究の再分析を実施しました。
私たちは、LLM 主導の分析チャットボットの長所と短所を明らかにし、進歩的な視覚化の改良をサポートするには不十分であることを発見しました。
これらの発見に基づいて、私たちは、アナリストが会話のコンテキストを積極的に管理し、その出力の有効性を向上させることを可能にするマルチスレッド分析チャットボットである AI Threads を開発しました。
私たちはクラウドソーシングによる調査 (n=40) と専門アナリストとの綿密なインタビュー (n=10) を通じてその使いやすさを評価しています。
さらに、LLM のトレーニング コーパス外のデータセットで AI スレッドの機能を実証します。
私たちの調査結果は、LLM の可能性を示すと同時に、将来の研究に向けた課題と実りある道筋も明らかにしています。

要約(オリジナル)

Generative Large Language Models (LLMs) show potential in data analysis, yet their full capabilities remain uncharted. Our work explores the capabilities of LLMs for creating and refining visualizations via conversational interfaces. We used an LLM to conduct a re-analysis of a prior Wizard-of-Oz study examining the use of chatbots for conducting visual analysis. We surfaced the strengths and weaknesses of LLM-driven analytic chatbots, finding that they fell short in supporting progressive visualization refinements. From these findings, we developed AI Threads, a multi-threaded analytic chatbot that enables analysts to proactively manage conversational context and improve the efficacy of its outputs. We evaluate its usability through a crowdsourced study (n=40) and in-depth interviews with expert analysts (n=10). We further demonstrate the capabilities of AI Threads on a dataset outside the LLM’s training corpus. Our findings show the potential of LLMs while also surfacing challenges and fruitful avenues for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google