V-RECS, a Low-Cost LLM4VIS Recommender with Explanations, Captioning and Suggestions

要約

NL2VIS (自然言語から視覚化) は、自然言語クエリを解釈し、基礎となるデータを正確に表す視覚化に変換する、有望な最近の研究分野です。
ビッグデータの時代を迎えるにあたり、NL2VIS は専門家以外のユーザーによるデータ探索を大幅に容易にするため、大きな応用可能性を秘めています。
NL2VIS アプリケーションでの生成 AI の使用がますます広まっていることを受けて、このホワイトペーパーでは、さらなるデータ探索のための説明 (E)、キャプション (C)、および提案 (S) を強化した初の LLM ベースのビジュアル レコメンダーである V-RECS を紹介します。
V-RECS の視覚化ナラティブにより、専門家以外のユーザーによる応答の検証とデータ探索の両方が容易になります。
さらに、私たちが提案するソリューションは、小規模モデルを効果的に微調整する方法論を活用することで、強力な LLM の使用に関連する計算、制御性、コストの問題を軽減します。
洞察力に富んだ視覚化ナラティブを生成するために、LLM が正しい答えを生み出すための論理的なステップを特定して生成するのに役立つプロンプト エンジニアリング手法である思考連鎖 (CoT) を使用します。
CoT は小さな LLM ではパフォーマンスが低いと報告されているため、教師として機能する大きな LLM (GPT-4) が CoT ベースの命令を生成して小さなモデル Llama-2-7B を微調整する戦略を採用しました。
学生の役割を果たします。
AI ベースの視覚化の定量的評価のフレームワークと参加者グループによる手動評価に基づく広範な実験により、V-RECS がはるかに低いコストで GPT-4 に匹敵するパフォーマンス スコアを達成することが示されました。
V-RECS の教師と生徒のパラダイムの有効性は、調整されていないラマがほとんどのテスト ケースでタスクを実行できないという事実によっても証明されています。
私たちはビジュアライゼーション コミュニティ向けに V-RECS をリリースし、ビジュアライゼーション生成プロセス全体を通してビジュアライゼーション デザイナーを支援します。

要約(オリジナル)

NL2VIS (natural language to visualization) is a promising and recent research area that involves interpreting natural language queries and translating them into visualizations that accurately represent the underlying data. As we navigate the era of big data, NL2VIS holds considerable application potential since it greatly facilitates data exploration by non-expert users. Following the increasingly widespread usage of generative AI in NL2VIS applications, in this paper we present V-RECS, the first LLM-based Visual Recommender augmented with explanations(E), captioning(C), and suggestions(S) for further data exploration. V-RECS’ visualization narratives facilitate both response verification and data exploration by non-expert users. Furthermore, our proposed solution mitigates computational, controllability, and cost issues associated with using powerful LLMs by leveraging a methodology to effectively fine-tune small models. To generate insightful visualization narratives, we use Chain-of-Thoughts (CoT), a prompt engineering technique to help LLM identify and generate the logical steps to produce a correct answer. Since CoT is reported to perform poorly with small LLMs, we adopted a strategy in which a large LLM (GPT-4), acting as a Teacher, generates CoT-based instructions to fine-tune a small model, Llama-2-7B, which plays the role of a Student. Extensive experiments-based on a framework for the quantitative evaluation of AI-based visualizations and on manual assessment by a group of participants-show that V-RECS achieves performance scores comparable to GPT-4, at a much lower cost. The efficacy of the V-RECS teacher-student paradigm is also demonstrated by the fact that the un-tuned Llama fails to perform the task in the vast majority of test cases. We release V-RECS for the visualization community to assist visualization designers throughout the entire visualization generation process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google