From Code to Compliance: Assessing ChatGPT’s Utility in Designing an Accessible Webpage — A Case Study

要約

Web アクセシビリティにより、障害を持つ個人が障害なくデジタル コンテンツにアクセスし、操作できるようになりますが、ほとんどの使用されている Web サイトの大多数はアクセシビリティ基準を満たしていません。
この調査では、Web コンテンツ アクセシビリティ ガイドライン (WCAG) に沿って Web ページを生成および改善する ChatGPT (GPT-4o) の機能を評価します。
ChatGPT はプロンプトが表示された場合にアクセシビリティの問題に効果的に対処できますが、そのデフォルトのコードは多くの場合コンプライアンスを欠いており、トレーニング データの制限とアクセスできない Web 慣行の蔓延を反映しています。
自動テストと手動テストにより、単純な問題の解決には強みがあるものの、人間の監視と追加の反復が必要な複雑なタスクの課題が明らかになりました。
これまでの研究とは異なり、手動評価、動的要素を組み込み、ChatGPT の視覚的推論機能とプロンプトを使用してアクセシビリティの問題を修正します。
プロンプトとともにスクリーンショットを提供すると、適切なコントラスト色の決定など、周囲のコンポーネントを分析できるようになり、アクセシビリティの問題に対処する LLM の機能が強化されます。
簡潔で構造化されたフィードバックを提供したり、視覚補助を組み込んだりするなど、効果的な即時エンジニアリングが ChatGPT のパフォーマンスを大幅に向上させることがわかりました。
これらの調査結果は、アクセシブルな Web 開発における大規模言語モデルの可能性と限界を浮き彫りにし、開発者がより包括的な Web サイトを作成するための実践的なガイダンスを提供します。

要約(オリジナル)

Web accessibility ensures that individuals with disabilities can access and interact with digital content without barriers, yet a significant majority of most used websites fail to meet accessibility standards. This study evaluates ChatGPT’s (GPT-4o) ability to generate and improve web pages in line with Web Content Accessibility Guidelines (WCAG). While ChatGPT can effectively address accessibility issues when prompted, its default code often lacks compliance, reflecting limitations in its training data and prevailing inaccessible web practices. Automated and manual testing revealed strengths in resolving simple issues but challenges with complex tasks, requiring human oversight and additional iterations. Unlike prior studies, we incorporate manual evaluation, dynamic elements, and use the visual reasoning capability of ChatGPT along with the prompts to fix accessibility issues. Providing screenshots alongside prompts enhances the LLM’s ability to address accessibility issues by allowing it to analyze surrounding components, such as determining appropriate contrast colors. We found that effective prompt engineering, such as providing concise, structured feedback and incorporating visual aids, significantly enhances ChatGPT’s performance. These findings highlight the potential and limitations of large language models for accessible web development, offering practical guidance for developers to create more inclusive websites.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google