Analysis of Visual Features for Continuous Lipreading in Spanish

要約

会話中、私たちの脳は、知覚しているメッセージを理解する能力を向上させるために、複数の感覚から得た情報を組み合わせる責任があります。
さまざまな研究により、このような状況では視覚情報を提示することが重要であることが示されています。
それにもかかわらず、読唇術は複雑な作業であり、その目的は音声が利用できない場合に音声を解釈することです。
聴覚と同じくらい重要な感覚を省略することにより、この欠如がもたらす課題を認識する必要があるでしょう。
この論文では、自然なスペイン語の唇の動きの性質を捉えるのに最適なアプローチを特定することを目的として、さまざまな音声視覚特徴の分析を提案します。これにより、自動視覚音声認識タスクに対処します。
私たちのシステムを推定するために、アルバイズの評価で使用されている RTVE データベースのサブセットから編集された視聴覚コーパスを提示します。
当社では、ガウス混合モデルを備えた隠れマルコフ モデルに基づく従来のシステムを採用しています。
結果は、タスクは難しいものの、限られた条件下では固有リップを深い特徴と組み合わせて使用​​することが最良の視覚的アプローチであると判断する認識結果が得られることを示しています。

要約(オリジナル)

During a conversation, our brain is responsible for combining information obtained from multiple senses in order to improve our ability to understand the message we are perceiving. Different studies have shown the importance of presenting visual information in these situations. Nevertheless, lipreading is a complex task whose objective is to interpret speech when audio is not available. By dispensing with a sense as crucial as hearing, it will be necessary to be aware of the challenge that this lack presents. In this paper, we propose an analysis of different speech visual features with the intention of identifying which of them is the best approach to capture the nature of lip movements for natural Spanish and, in this way, dealing with the automatic visual speech recognition task. In order to estimate our system, we present an audiovisual corpus compiled from a subset of the RTVE database, which has been used in the Albayz\’in evaluations. We employ a traditional system based on Hidden Markov Models with Gaussian Mixture Models. Results show that, although the task is difficult, in restricted conditions we obtain recognition results which determine that using eigenlips in combination with deep features is the best visual approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google