Single-Channel Robot Ego-Speech Filtering during Human-Robot Interaction

要約

この論文では、人間の音声がソーシャル ロボットである Pepper の声やファンのノイズと重なったときに、どの程度自動的にフィルタリングできるかを研究します。
私たちは最終的に、ロボットが話しているときにマイクを開いたままにし、人間がロボットの話を中断できる、より自然な交代スキームを可能にする HRI シナリオを目指しています。
適切に応答するには、ロボットが音声の重複部分で対話者が何を言ったかを理解する必要があります。これはターゲット音声抽出 (TSE) によって実現できます。
人気のソーシャル ロボットである Pepper のコンテキストで TSE がどの程度うまく達成できるかを調査するために、私たちは、Pepper 自体の録音された音声、そのファンのノイズ (マイクに近い)、および人間の音声の混合から構成されるデータセットの作成に着手しました。
残響が低い部屋と残響が高い部屋で、Pepper マイクで録音された音声。
ポスト フィルタリングありとなしの信号処理アプローチと、最先端の話者識別ベースの TSE モデルに対する畳み込みリカレント ニューラル ネットワーク (CRNN) アプローチを比較したところ、ポスト フィルタリングを使用しない信号処理アプローチの方が優れていることがわかりました。
CRNN アプローチは残響に対してより堅牢ですが、残響の少ない重なり合う音声信号では単語誤り率の点で最高のパフォーマンスが得られました。
これらの結果は、室内の残響が低く、人間の音声の音量またはピッチが大きい場合に限り、ロボットとの重複音声における人間の音声の推定が現実のアプリケーションで可能であることを示しています。

要約(オリジナル)

In this paper, we study how well human speech can automatically be filtered when this overlaps with the voice and fan noise of a social robot, Pepper. We ultimately aim for an HRI scenario where the microphone can remain open when the robot is speaking, enabling a more natural turn-taking scheme where the human can interrupt the robot. To respond appropriately, the robot would need to understand what the interlocutor said in the overlapping part of the speech, which can be accomplished by target speech extraction (TSE). To investigate how well TSE can be accomplished in the context of the popular social robot Pepper, we set out to manufacture a datase composed of a mixture of recorded speech of Pepper itself, its fan noise (which is close to the microphones), and human speech as recorded by the Pepper microphone, in a room with low reverberation and high reverberation. Comparing a signal processing approach, with and without post-filtering, and a convolutional recurrent neural network (CRNN) approach to a state-of-the-art speaker identification-based TSE model, we found that the signal processing approach without post-filtering yielded the best performance in terms of Word Error Rate on the overlapping speech signals with low reverberation, while the CRNN approach is more robust for reverberation. These results show that estimating the human voice in overlapping speech with a robot is possible in real-life application, provided that the room reverberation is low and the human speech has a high volume or high pitch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google