New Capability to Look Up an ASL Sign from a Video Example

要約

ASL 辞書で未知の標識を調べるのは難しい場合があります。
ほとんどの ASL 辞書は、英語の用語集に基づいて編成されています。(1) ASL の記号に英語ベースの用語集を割り当てる規則がない。
(2) ASL の記号と英語の単語の間には 1 対 1 の対応関係はありません。
さらに、ユーザーがターゲット標識の意味も、その可能な英語訳も知らない場合はどうなるでしょうか?
一部の ASL 辞書では、手の形、位置、動作特性などの調音特性の指定による検索が可能です。ただし、これは面倒なプロセスであり、常に検索が成功するとは限りません。
ここでは、ASL 標識のビデオ (例: ウェブカメラの記録や連続署名ビデオからのクリップ) の検索を可能にする、Web 上で公的に共有される新しいシステムについて説明します。
ユーザーが分析用のビデオを送信すると、一致する可能性が最も高い 5 つのサインが降順で表示され、ユーザーは選択を確認して、そのサインの ASLLRP サイン バンク エントリに移動できます。
さらに、このビデオ ルックアップは、ASL ビデオ データの言語注釈を容易にするために、SignStream(R) ソフトウェアの最新バージョンにも統合されており、ユーザーは注釈が付けられているビデオ内のサインを直接検索でき、一致が確認されると、
その標識の光沢と特徴を注釈に直接入力できるため、ASL ビデオ データの言語注釈の効率と一貫性が大幅に向上します。

要約(オリジナル)

Looking up an unknown sign in an ASL dictionary can be difficult. Most ASL dictionaries are organized based on English glosses, despite the fact that (1) there is no convention for assigning English-based glosses to ASL signs; and (2) there is no 1-1 correspondence between ASL signs and English words. Furthermore, what if the user does not know either the meaning of the target sign or its possible English translation(s)? Some ASL dictionaries enable searching through specification of articulatory properties, such as handshapes, locations, movement properties, etc. However, this is a cumbersome process and does not always result in successful lookup. Here we describe a new system, publicly shared on the Web, to enable lookup of a video of an ASL sign (e.g., a webcam recording or a clip from a continuous signing video). The user submits a video for analysis and is presented with the five most likely sign matches, in decreasing order of likelihood, so that the user can confirm the selection and then be taken to our ASLLRP Sign Bank entry for that sign. Furthermore, this video lookup is also integrated into our newest version of SignStream(R) software to facilitate linguistic annotation of ASL video data, enabling the user to directly look up a sign in the video being annotated, and, upon confirmation of the match, to directly enter into the annotation the gloss and features of that sign, greatly increasing the efficiency and consistency of linguistic annotations of ASL video data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google