Development and evaluation of a deep learning algorithm for German word recognition from lip movements

要約

唇を読むとき、多くの人々は、スピーカーの唇の動きからの追加の視覚情報の恩恵を受けますが、これは非常にエラーが発生しやすいです。
人工ニューラルネットワークに基づいた人工知能を使用したリップリーディング用のアルゴリズムは、単語認識を大幅に改善しますが、ドイツ語では利用できません。
それぞれ1人のドイツ語を話す人が1人だけの合計1806のビデオクリップが選択され、単語セグメントに分割され、音声認識ソフトウェアを使用して単語クラスに割り当てられました。
32のスピーカーを備えた38,391のビデオセグメントでは、18の多音節の視覚的に識別可能な単語を使用して、ニューラルネットワークを訓練および検証しました。
3D畳み込みニューラルネットワークとゲートの再発ユニットモデルと両方のモデル（GrucONV）の組み合わせを比較しました。
精度は、5000のトレーニングエポックで決定されました。
カラースペースの比較では、69％から72％の範囲の関連する異なる正しい分類率は明らかになりませんでした。
唇が切断されると、スピーカーの顔全体（34％）に切断されたときよりも70％の精度が大幅に達成されました。
GrucONVモデルでは、最大精度は既知のスピーカーで87％、未知のスピーカーを使用した検証で63％でした。
最初にドイツ語用に開発されたリップリーディングのニューラルネットワークは、英語のアルゴリズムに匹敵する非常に高いレベルの精度を示しています。
不明なスピーカーでも動作し、より多くの単語クラスで一般化できます。

要約(オリジナル)

When reading lips, many people benefit from additional visual information from the lip movements of the speaker, which is, however, very error prone. Algorithms for lip reading with artificial intelligence based on artificial neural networks significantly improve word recognition but are not available for the German language. A total of 1806 video clips with only one German-speaking person each were selected, split into word segments, and assigned to word classes using speech-recognition software. In 38,391 video segments with 32 speakers, 18 polysyllabic, visually distinguishable words were used to train and validate a neural network. The 3D Convolutional Neural Network and Gated Recurrent Units models and a combination of both models (GRUConv) were compared, as were different image sections and color spaces of the videos. The accuracy was determined in 5000 training epochs. Comparison of the color spaces did not reveal any relevant different correct classification rates in the range from 69% to 72%. With a cut to the lips, a significantly higher accuracy of 70% was achieved than when cut to the entire speaker’s face (34%). With the GRUConv model, the maximum accuracies were 87% with known speakers and 63% in the validation with unknown speakers. The neural network for lip reading, which was first developed for the German language, shows a very high level of accuracy, comparable to English-language algorithms. It works with unknown speakers as well and can be generalized with more word classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google