ChartFormer: A Large Vision Language Model for Converting Chart Images into Tactile Accessible SVGs

要約

複雑なデータを解釈するには、グラフなどの視覚化が不可欠です。
ただし、これらはラスター画像として提供されることが多く、エンボス紙や触覚ディスプレイなどの視覚障害者向けの支援技術と互換性がありません。
同時に、アクセシブルなベクター グラフィックスの作成には熟練した晴眼者が必要であり、時間がかかります。
この取り組みでは、チャート分析分野の進歩を活用して、エンドツーエンドの方法で触覚チャートを生成します。
私たちの 3 つの主要な貢献は次のとおりです: (1) ラスター チャート イメージを触覚でアクセス可能な SVG に変換するようにトレーニングされた ChartFormer モデルの導入、(2) アクセシビリティ標準に従って作成した合成チャート データセットである Chart2Tactile データセットでこのモデルをトレーニング、および (
3) 更新可能な 2 次元触覚ディスプレイを使用したパイロット ユーザー調査を通じて、SVG の有効性を評価します。
私たちの成果は https://github.com/nsothman/ChartFormer で公開されています。

要約(オリジナル)

Visualizations, such as charts, are crucial for interpreting complex data. However, they are often provided as raster images, which are not compatible with assistive technologies for people with blindness and visual impairments, such as embossed papers or tactile displays. At the same time, creating accessible vector graphics requires a skilled sighted person and is time-intensive. In this work, we leverage advancements in the field of chart analysis to generate tactile charts in an end-to-end manner. Our three key contributions are as follows: (1) introducing the ChartFormer model trained to convert raster chart images into tactile-accessible SVGs, (2) training this model on the Chart2Tactile dataset, a synthetic chart dataset we created following accessibility standards, and (3) evaluating the effectiveness of our SVGs through a pilot user study with an refreshable two-dimensional tactile display. Our work is publicly available at https://github.com/nsothman/ChartFormer .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google