MotorEase: Automated Detection of Motor Impairment Accessibility Issues in Mobile App UIs

要約

最近の研究では、ソフトウェアに現れるアクセシビリティの問題を自動的に検出して修正する可能性を検討し始めています。
しかし、最近の研究は重要な進歩を遂げていますが、一般に、視覚障害や聴覚障害など、特定の障害を持つユーザーに影響を及ぼす問題の特定に偏っています。
ただし、エクスペリエンスを向上させるためにソフトウェア ツールのサポートを必要とする、さまざまな種類の障害を持つ他のユーザー グループもいます。
そのため、このペーパーは、運動障害を持つユーザーに影響を与えるアクセシビリティの問題を自動的に特定することを目的としています。
この目標に向けて、このペーパーでは、運動障害のあるユーザーに影響を与えるモバイル アプリ UI のアクセシビリティの問題を特定できる MotorEase と呼ばれる新しいアプローチを紹介します。
運動障害のあるユーザーは、タッチベースのデバイスを操作する能力が限られていることが多く、代わりにスイッチやその他の支援機構を利用する場合があります。したがって、UI は、制限されたタッチ ジェスチャと支援デバイスの使用の両方をサポートするように設計する必要があります。
MotorEase は、コンピューター ビジョンとテキスト処理技術を適応させて、アプリ UI 画面の意味論的な理解を可能にし、運動障害のあるユーザーをサポートする、これまで調査されていなかった一般的な 4 つの UI 設計ガイドラインに関連する違反の検出を可能にします。
(ii) 展開するセクション、(iii) 永続的な要素、および (iv) 隣接するアイコンの視覚的距離。
MotorEase は、MotorCheck と呼ばれる新しく派生したベンチマークで評価されます。このベンチマークには、モバイル アプリ テスト ツールを介して 70 のアプリケーションから収集された 1599 の画面にわたって、上記のアクセシビリティ ガイドラインに対する手動で注釈が付けられた 555 件の違反例が含まれています。
私たちの実験では、MotorEase が平均精度 ~90%、誤検知率 9% 未満で違反を特定でき、ベースライン技術を上回るパフォーマンスを示していることがわかりました。

要約(オリジナル)

Recent research has begun to examine the potential of automatically finding and fixing accessibility issues that manifest in software. However, while recent work makes important progress, it has generally been skewed toward identifying issues that affect users with certain disabilities, such as those with visual or hearing impairments. However, there are other groups of users with different types of disabilities that also need software tooling support to improve their experience. As such, this paper aims to automatically identify accessibility issues that affect users with motor-impairments. To move toward this goal, this paper introduces a novel approach, called MotorEase, capable of identifying accessibility issues in mobile app UIs that impact motor-impaired users. Motor-impaired users often have limited ability to interact with touch-based devices, and instead may make use of a switch or other assistive mechanism — hence UIs must be designed to support both limited touch gestures and the use of assistive devices. MotorEase adapts computer vision and text processing techniques to enable a semantic understanding of app UI screens, enabling the detection of violations related to four popular, previously unexplored UI design guidelines that support motor-impaired users, including: (i) visual touch target size, (ii) expanding sections, (iii) persisting elements, and (iv) adjacent icon visual distance. We evaluate MotorEase on a newly derived benchmark, called MotorCheck, that contains 555 manually annotated examples of violations to the above accessibility guidelines, across 1599 screens collected from 70 applications via a mobile app testing tool. Our experiments illustrate that MotorEase is able to identify violations with an average accuracy of ~90%, and a false positive rate of less than 9%, outperforming baseline techniques.

arxiv情報

著者 Arun Krishnavajjala,SM Hasan Mansur,Justin Jose,Kevin Moran
発行日 2024-03-20 15:53:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.HC, cs.SE パーマリンク