ASL STEM Wiki: Dataset and Benchmark for Interpreting STEM Articles

要約

聴覚障害者(DHH)の学生は、特に手話による STEM リソースの不足により、科学、技術、工学、数学(STEM)教育にアクセスする際に大きな障壁に直面しています。
これに対処するために、ASL STEM Wiki を紹介します。ASL STEM Wiki は、英語の STEM トピックに関する 254 の Wikipedia 記事の並列コーパスであり、300 時間以上のアメリカ手話 (ASL) に解釈されています。
ASL STEM Wiki は、STEM に焦点を当てた初の継続署名データセットであり、ASL の STEM 教育のための AI リソースの開発を促進します。
私たちは、人間中心のアプリケーションを使用した ASL STEM Wiki のいくつかの使用例を特定します。
たとえば、このデータセットは、DHH の学生の学習能力を阻害する技術的概念での指綴りの頻繁な使用を浮き彫りにしているため、私たちは指綴りの単語を識別するモデルを開発します。これは、後で通訳者に提案する適切な ASL 標識をクエリするために使用できます。

要約(オリジナル)

Deaf and hard-of-hearing (DHH) students face significant barriers in accessing science, technology, engineering, and mathematics (STEM) education, notably due to the scarcity of STEM resources in signed languages. To help address this, we introduce ASL STEM Wiki: a parallel corpus of 254 Wikipedia articles on STEM topics in English, interpreted into over 300 hours of American Sign Language (ASL). ASL STEM Wiki is the first continuous signing dataset focused on STEM, facilitating the development of AI resources for STEM education in ASL. We identify several use cases of ASL STEM Wiki with human-centered applications. For example, because this dataset highlights the frequent use of fingerspelling for technical concepts, which inhibits DHH students’ ability to learn, we develop models to identify fingerspelled words — which can later be used to query for appropriate ASL signs to suggest to interpreters.

arxiv情報

著者 Kayo Yin,Chinmay Singh,Fyodor O. Minakov,Vanessa Milan,Hal Daumé III,Cyril Zhang,Alex X. Lu,Danielle Bragg
発行日 2024-11-08 18:50:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CV, cs.HC パーマリンク