Do Text-to-Vis Benchmarks Test Real Use of Visualisations?

要約

大規模な言語モデルは、ユーザーのリクエストに応じて視覚化のためのコードを生成できます。
これは便利なアプリケーションであり、データのプロットが言語の基礎を提供するため、NLP 研究にとって魅力的なアプリケーションです。
ただし、ベンチマークは比較的少なく、存在するベンチマークが人々の実際の行動を代表しているかどうかは不明です。
このペーパーは、ベンチマーク データセットとパブリック リポジトリのコードを比較する実証研究を通じて、その質問に答えることを目的としています。
私たちの調査結果では、評価ではチャートの種類、属性、アクションの数の同じ分布がテストされておらず、データセットに大きなギャップがあることが明らかになりました。
唯一の代表的なデータセットは、エンドツーエンドの実用的なベンチマークとなるように変更する必要があります。
これは、ユーザーの視覚化ニーズに真に対応するシステムの開発をサポートするには、より多くの新しいベンチマークが必要であることを示しています。
これらの観察は、どの機能がユーザーにとって真の意味を持つのかを明らかにし、将来のデータ作成の指針となります。

要約(オリジナル)

Large language models are able to generate code for visualisations in response to user requests. This is a useful application, and an appealing one for NLP research because plots of data provide grounding for language. However, there are relatively few benchmarks, and it is unknown whether those that exist are representative of what people do in practice. This paper aims to answer that question through an empirical study comparing benchmark datasets and code from public repositories. Our findings reveal a substantial gap in datasets, with evaluations not testing the same distribution of chart types, attributes, and the number of actions. The only representative dataset requires modification to become an end-to-end and practical benchmark. This shows that new, more benchmarks are needed to support the development of systems that truly address users’ visualisation needs. These observations will guide future data creation, highlighting which features hold genuine significance for users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google