LLM-Assisted Visual Analytics: Opportunities and Challenges

要約

私たちは、大規模言語モデル (LLM) をビジュアル分析 (VA) システムに統合して、直感的な自然言語対話を通じてその機能を変革することを検討しています。
私たちは、この新興分野における現在の研究の方向性を調査し、LLM がデータ管理、言語インタラクション、視覚化生成、および言語生成プロセスにどのように統合されているかを調査します。
LLM が VA にもたらす新たな可能性、特に LLM が通常のユースケースを超えて VA プロセスをどのように変えることができるかに焦点を当てます。
特に、幅広い分野の知識、マルチモーダルなインタラクション、ガイダンス付きの機会へのアクセスを可能にする、新しい視覚化言語モデルの構築に焦点を当てています。
最後に、VA タスクで現在の LLM を使用する際の顕著な課題を慎重に検討します。
この文書での議論は、LLM 支援 VA システムに取り組む将来の研究者を導き、これらのシステムを開発する際によくある障害を乗り越えられるようにすることを目的としています。

要約(オリジナル)

We explore the integration of large language models (LLMs) into visual analytics (VA) systems to transform their capabilities through intuitive natural language interactions. We survey current research directions in this emerging field, examining how LLMs are integrated into data management, language interaction, visualisation generation, and language generation processes. We highlight the new possibilities that LLMs bring to VA, especially how they can change VA processes beyond the usual use cases. We especially highlight building new visualisation-language models, allowing access of a breadth of domain knowledge, multimodal interaction, and opportunities with guidance. Finally, we carefully consider the prominent challenges of using current LLMs in VA tasks. Our discussions in this paper aim to guide future researchers working on LLM-assisted VA systems and help them navigate common obstacles when developing these systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google