DataVisT5: A Pre-trained Language Model for Jointly Understanding Text and Data Visualization

要約

データビジュアライゼーション (DV) は、ビッグデータの背後にある洞察を効率的に伝達するための基本的かつ前提となるツールであり、既存のデータ駆動型の世界では広く受け入れられています。
自然言語クエリのビジュアライゼーションへの変換 (つまり、テキストからビジュアルへ)、ビジュアライゼーションからの説明の生成 (つまり、ビジュアルからテキストへ)、自由形式での DV 関連の質問への回答 (つまり、FeVisQA) など、DV におけるタスクの自動化。
そして、表形式のデータ（つまり、表からテキストへ）を説明することは、この分野を進歩させるために不可欠です。
T5 や BERT などの事前トレーニング済み言語モデル (PLM) は、その可能性にもかかわらず、DV での適用は高コストとクロスモーダル情報の処理の課題によって制限されており、DV 向けの PLM に関する研究はほとんど行われていません。
DataVisT5 は、DV 向けに調整された新しい PLM であり、ハイブリッド目標事前トレーニングとマルチタスク微調整戦略を通じて T5 アーキテクチャを強化し、テキストと DV データセットを統合してクロスモーダル セマンティクスを効果的に解釈します。
公開データセットに対する広範な評価により、DataVisT5 がさまざまな DV 関連タスクにおいて現在の最先端モデルよりも一貫して優れたパフォーマンスを発揮することが示されています。
DataVisT5 は、垂直 PLM に関するさらなる研究を刺激するだけでなく、PLM のアプリケーションの範囲を拡大することを期待しています。

要約(オリジナル)

Data visualization (DV) is the fundamental and premise tool to improve the efficiency in conveying the insights behind the big data, which has been widely accepted in existing data-driven world. Task automation in DV, such as converting natural language queries to visualizations (i.e., text-to-vis), generating explanations from visualizations (i.e., vis-to-text), answering DV-related questions in free form (i.e. FeVisQA), and explicating tabular data (i.e., table-to-text), is vital for advancing the field. Despite their potential, the application of pre-trained language models (PLMs) like T5 and BERT in DV has been limited by high costs and challenges in handling cross-modal information, leading to few studies on PLMs for DV. We introduce DataVisT5, a novel PLM tailored for DV that enhances the T5 architecture through a hybrid objective pre-training and multi-task fine-tuning strategy, integrating text and DV datasets to effectively interpret cross-modal semantics. Extensive evaluations on public datasets show that DataVisT5 consistently outperforms current state-of-the-art models on various DV-related tasks. We anticipate that DataVisT5 will not only inspire further research on vertical PLMs but also expand the range of applications for PLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google