Alt4Blind: A User Interface to Simplify Charts Alt-Text Creation

要約

チャート画像の代替テキスト (Alt-Text) は、視覚障害を持つ人々がグラフィックスにアクセスできるようにするために不可欠です。
従来、代替テキストは作成者によって手動で作成されてきましたが、過度の単純化や複雑化などの問題が頻繁に発生します。
最近の傾向では、代替テキストの生成に AI が使用されています。
ただし、既存のモデルは、不正確な情報や誤解を招く情報を生成する可能性があります。
私たちは、同様のチャート画像から高品質の代替テキストを取得し、ユーザーが代替テキストを作成する際の参考となるようにすることで、この課題に対処します。
私たちの 3 つの貢献は次のとおりです: (1) ヒューマン コンピューター インタラクション会場から収集された、意味的にラベル付けされた高品質の代替テキストを含む 5,000 枚の実際の画像で構成される新しいベンチマークを導入します。
(2) 同じ視覚的およびテキストのセマンティクスを共有する類似のチャート画像をランク付けして取得するための深層学習ベースのモデルを開発しました。
(3) 代替テキストの作成プロセスを容易にするユーザー インターフェイス (UI) を設計しました。
事前のインタビューと調査により、UI の使いやすさが明らかになりました。
データセットと詳細については、プロジェクト ページ https://moured.github.io/alt4blind/ を参照してください。

要約(オリジナル)

Alternative Texts (Alt-Text) for chart images are essential for making graphics accessible to people with blindness and visual impairments. Traditionally, Alt-Text is manually written by authors but often encounters issues such as oversimplification or complication. Recent trends have seen the use of AI for Alt-Text generation. However, existing models are susceptible to producing inaccurate or misleading information. We address this challenge by retrieving high-quality alt-texts from similar chart images, serving as a reference for the user when creating alt-texts. Our three contributions are as follows: (1) we introduce a new benchmark comprising 5,000 real images with semantically labeled high-quality Alt-Texts, collected from Human Computer Interaction venues. (2) We developed a deep learning-based model to rank and retrieve similar chart images that share the same visual and textual semantics. (3) We designed a user interface (UI) to facilitate the alt-text creation process. Our preliminary interviews and investigations highlight the usability of our UI. For the dataset and further details, please refer to our project page: https://moured.github.io/alt4blind/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google