Enhanced Sign Language Translation between American Sign Language (ASL) and Indian Sign Language (ISL) Using LLMs

要約

私たちは、アメリカ手話のユーザーと、話し言葉およびインド手話 (ISL) のユーザーとの間に架け橋を提供したいと考えた研究を思いつきました。
この研究により、学習者システム用に開発した新しいフレームワークを作成することができました。
大規模モデルの技術を活用して、次のような重要な機能を作成します。 – これら 2 つの手話間の効率的な方法でのリアルタイム翻訳。
LLM の機能を ISL へのシームレスな変換に利用できるようにします。
この論文でその実装を示す完全な研究をここに示します。
システムの中核は、強力なランダム フォレスト分類器に基づいた ASL ジェスチャの再分類と認識から始まる洗練されたパイプラインです。
ASL を認識すると、より簡単に処理できるテキストに変換されます。
高度に進化した自然言語 NLP (自然言語処理) 技術は、LLM 統合で役割を果たし、LLM を使用して ASL テキストを ISL に変換し、文や語句の意図を提供することができるため便利です。
最後のステップでは、翻訳されたテキストを合成して ISL ジェスチャに戻し、RIFE-Net を使用してエンドツーエンドの翻訳エクスペリエンスを作成します。
このフレームワークには、ジェスチャーの変動に自動的に対処したり、ASL と ISL の間の言語の違いを克服したりするなど、重要な課題が課せられています。
翻訳プロセスを自動化することで、手話ユーザーのアクセシビリティが大幅に向上することを期待しています。
ASL と ISL の間のコミュニケーションギャップが障壁となることはもうありません。
このまったくクールなイノベーションは、私たちのコミュニティをより緊密にすることを目的としています。
そして、私たちは自分たちのフレームワークに絶対の自信を持って、同じ原則をさまざまな手話方言に適用できると信じています。

要約(オリジナル)

We have come up with a research that hopes to provide a bridge between the users of American Sign Language and the users of spoken language and Indian Sign Language (ISL). The research enabled us to create a novel framework that we have developed for Learner Systems. Leveraging art of Large models to create key features including: – Real-time translation between these two sign languages in an efficient manner. Making LLM’s capability available for seamless translations to ISL. Here is the full study showing its implementation in this paper. The core of the system is a sophisticated pipeline that begins with reclassification and recognition of ASL gestures based on a strong Random Forest Classifier. By recognizing the ASL, it is translated into text which can be more easily processed. Highly evolved natural language NLP (Natural Language Processing) techniques come in handy as they play a role in our LLM integration where you then use LLMs to be able to convert the ASL text to ISL which provides you with the intent of sentence or phrase. The final step is to synthesize the translated text back into ISL gestures, creating an end-to-end translation experience using RIFE-Net. This framework is tasked with key challenges such as automatically dealing with gesture variability and overcoming the linguistic differences between ASL and ISL. By automating the translation process, we hope to vastly improve accessibility for sign language users. No longer will the communication gap between ASL and ISL create barriers; this totally cool innovation aims to bring our communities closer together. And we believe, with full confidence in our framework, that we’re able to apply the same principles across a wide variety of sign language dialects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google