Motion-Based Sign Language Video Summarization using Curvature and Torsion

要約

多くのビデオベースのアプリケーションにおける興味深い問題は、最も情報量の多いフレームを選択して短いシノプシスを生成することであり、この手順はビデオの要約として知られている。手話ビデオでは、キーフレームを特定するために、2次元手首軌道の曲率に対応する$t$パラメータを用いることの利点が最近文献で報告されている。本論文では、映像の各フレームから抽出される3次元の手の動きをモデル化することで、これらのアイデアを拡張する。そのために、3次元軌道の$t$パラメータ化された曲率とねじれに基づく新しい情報提供関数を提案する。ビデオフレームをキーフレームとして特徴付ける方法は、動きが2次元空間で起こるか3次元空間で起こるかによって異なる。具体的には、3次元運動の場合は、ターゲットの軌道の曲率とねじれの調和平均の最大値を探し、平面運動の場合は、軌道の曲率の最大値を探すことになる。提案した3次元特徴量は、手話映像のアプリケーションにおいて、(1)地上真実キーフレーム注釈を用いた客観的尺度、(2)人間による理解度評価、(3)光沢分類で実験的に評価し、得られた結果は有望である。

要約(オリジナル)

An interesting problem in many video-based applications is the generation of short synopses by selecting the most informative frames, a procedure which is known as video summarization. For sign language videos the benefits of using the $t$-parameterized counterpart of the curvature of the 2-D signer’s wrist trajectory to identify keyframes, have been recently reported in the literature. In this paper we extend these ideas by modeling the 3-D hand motion that is extracted from each frame of the video. To this end we propose a new informative function based on the $t$-parameterized curvature and torsion of the 3-D trajectory. The method to characterize video frames as keyframes depends on whether the motion occurs in 2-D or 3-D space. Specifically, in the case of 3-D motion we look for the maxima of the harmonic mean of the curvature and torsion of the target’s trajectory; in the planar motion case we seek for the maxima of the trajectory’s curvature. The proposed 3-D feature is experimentally evaluated in applications of sign language videos on (1) objective measures using ground-truth keyframe annotations, (2) human-based evaluation of understanding, and (3) gloss classification and the results obtained are promising.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL