Let the Chart Spark: Embedding Semantic Context into Chart with Text-to-Image Generative Model

要約

絵画的視覚化は、データと意味的文脈をシームレスに視覚表現に統合し、複雑な情報を魅力的かつ有益な方法で伝える。絵画的ビジュアライゼーションの作成を簡素化するオーサリングツールの開発には、多くの研究が費やされてきた。しかし、主流の研究は、専用のコーパスから検索された視覚的要素に大きく依存する、検索と編集のパイプラインに従っており、多くの場合、データの整合性が損なわれている。テキストガイドによる生成手法も出現しているが、あらかじめ定義された認識エンティティのため、適用範囲が限定される可能性がある。本研究では、テキストから画像への生成モデルに基づいて、意味的文脈をチャートに埋め込む新しいシステムであるChartSparkを提案する。ChartSparkは、テキスト入力で伝達される意味的文脈と、プレーンチャートに埋め込まれたデータ情報の両方を条件として、絵画的視覚化を生成する。この方法は、前景と背景の両方の絵画的視覚化生成に汎用的であり、既存の絵画的視覚化に対する経験的研究から特定されたデザイン慣行を満たす。さらに、テキストアナライザ、編集モジュール、評価モジュールを統合し、ユーザが絵画的視覚化を生成、修正、評価できるようにした対話的視覚的インタフェースを開発する。本ツールの使いやすさを実験的に実証し、テキストから画像への生成モデルと対話的インターフェースを組み合わせた視覚化デザインの可能性について考察し、結論を述べる。

要約(オリジナル)

Pictorial visualization seamlessly integrates data and semantic context into visual representation, conveying complex information in a manner that is both engaging and informative. Extensive studies have been devoted to developing authoring tools to simplify the creation of pictorial visualizations. However, mainstream works mostly follow a retrieving-and-editing pipeline that heavily relies on retrieved visual elements from a dedicated corpus, which often compromise the data integrity. Text-guided generation methods are emerging, but may have limited applicability due to its predefined recognized entities. In this work, we propose ChartSpark, a novel system that embeds semantic context into chart based on text-to-image generative model. ChartSpark generates pictorial visualizations conditioned on both semantic context conveyed in textual inputs and data information embedded in plain charts. The method is generic for both foreground and background pictorial generation, satisfying the design practices identified from an empirical research into existing pictorial visualizations. We further develop an interactive visual interface that integrates a text analyzer, editing module, and evaluation module to enable users to generate, modify, and assess pictorial visualizations. We experimentally demonstrate the usability of our tool, and conclude with a discussion of the potential of using text-to-image generative model combined with interactive interface for visualization design.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL