ELMI: Interactive and Intelligent Sign Language Translation of Lyrics for Song Signing

要約

D/聴覚障害者と聴覚監視は、ビデオ共有プラットフォーム全体で一般的になりましたが、曲を手話に翻訳することは面倒でアクセスできません。
私たちの形成的研究では、翻訳におけるセマンティック、構文、表現力のある、リズミカルな考慮事項など、Song-Signersが直面する課題が明らかになりました。
Elmiは、歌詞を手話に翻訳するのに役立つアクセス可能な曲署名ツールです。
Elmiを使用すると、ユーザーはリアルタイムの歌詞やミュージックビデオのスニペットを使用して、Line-by-lineのGlossesを編集できます。
ユーザーは、大規模な言語モデル駆動型AIとチャットして、意味、光沢、感情、およびタイミングについて議論することもできます。
13個の歌の署名者を使用した探索的研究を通じて、Elmiがワークフローをどのように促進するか、およびSong-Signersが翻訳用のLLM駆動型チャットを活用して受信する方法を調べました。
参加者は、エルミをソング署名に成功裏に採用し、積極的に議論しました。
彼らはまた、翻訳に対する自信と独立の改善を報告し、エルミが励まし、建設的で、有益であると感じました。
アクセスしやすく、文化的に敏感な歌の署名翻訳ツールの研究とデザインの意味について説明します。

要約(オリジナル)

d/Deaf and hearing song-signers have become prevalent across video-sharing platforms, but translating songs into sign language remains cumbersome and inaccessible. Our formative study revealed the challenges song-signers face, including semantic, syntactic, expressive, and rhythmic considerations in translations. We present ELMI, an accessible song-signing tool that assists in translating lyrics into sign language. ELMI enables users to edit glosses line-by-line, with real-time synced lyric and music video snippets. Users can also chat with a large language model-driven AI to discuss meaning, glossing, emoting, and timing. Through an exploratory study with 13 song-signers, we examined how ELMI facilitates their workflows and how song-signers leverage and receive an LLM-driven chat for translation. Participants successfully adopted ELMI to song-signing, with active discussions throughout. They also reported improved confidence and independence in their translations, finding ELMI encouraging, constructive, and informative. We discuss research and design implications for accessible and culturally sensitive song-signing translation tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google