Bridging the Communication Gap: Artificial Agents Learning Sign Language through Imitation

要約

人工エージェント、特に人型ロボットは、カメラ、アクチュエーター、物理的存在を使用して、環境、物体、および人々と対話します。
彼らのコミュニケーション方法は事前にプログラムされていることが多く、行動や交流が制限されています。
私たちの研究では、デモンストレーションから学習することで非言語コミュニケーション スキルを習得することを探求しており、手話の理解と表現に応用できる可能性があります。
特に、私たちは人工エージェントの模倣学習に焦点を当てており、その例として、模擬ヒューマノイドアメリカ手話の指導が挙げられます。
コンピューター ビジョンと深層学習を使用してビデオから情報を抽出し、強化学習を使用してエージェントが観察されたアクションを再現できるようにします。
他の方法と比較して、私たちのアプローチは情報を取得するために追加のハードウェアを必要としません。
これらのさまざまなテクニックを組み合わせることで、手話を学ぶための実行可能な方法がどのように提供されるかを示します。
私たちの方法論は、上半身 (つまり、腕と手) に関係する 5 つの異なるサインをうまく教えることができます。
この研究は、人工エージェントの高度なコミュニケーション スキルへの道を切り開きます。

要約(オリジナル)

Artificial agents, particularly humanoid robots, interact with their environment, objects, and people using cameras, actuators, and physical presence. Their communication methods are often pre-programmed, limiting their actions and interactions. Our research explores acquiring non-verbal communication skills through learning from demonstrations, with potential applications in sign language comprehension and expression. In particular, we focus on imitation learning for artificial agents, exemplified by teaching a simulated humanoid American Sign Language. We use computer vision and deep learning to extract information from videos, and reinforcement learning to enable the agent to replicate observed actions. Compared to other methods, our approach eliminates the need for additional hardware to acquire information. We demonstrate how the combination of these different techniques offers a viable way to learn sign language. Our methodology successfully teaches 5 different signs involving the upper body (i.e., arms and hands). This research paves the way for advanced communication skills in artificial agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google