E2E Spoken Entity Extraction for Virtual Agents

要約

人間とコンピューターの会話では、音声から名前、住所、電子メール アドレスなどのエンティティを抽出するのは困難な作業です。
この論文では、事前にトレーニングされた音声エンコーダを微調整することによって、テキストの転写を必要とせずに音声から人間が読める形式で音声エンティティを直接抽出することへの影響を研究します。
このような直接的なアプローチにより、キャリア フレーズやスペル名エンティティなどの余分な部分を無視して、エンティティに関連する音声部分のみを転写するようにエンコーダが最適化されることを示します。
エンタープライズ仮想エージェントからのダイアログのコンテキストでは、1 ステップのアプローチが、最初に語彙転写を生成し、続いて音声エンティティを識別するためにテキストベースのエンティティ抽出を行う一般的な 2 ステップのアプローチよりも優れていることを示します。

要約(オリジナル)

In human-computer conversations, extracting entities such as names, street addresses and email addresses from speech is a challenging task. In this paper, we study the impact of fine-tuning pre-trained speech encoders on extracting spoken entities in human-readable form directly from speech without the need for text transcription. We illustrate that such a direct approach optimizes the encoder to transcribe only the entity relevant portions of speech ignoring the superfluous portions such as carrier phrases, or spell name entities. In the context of dialog from an enterprise virtual agent, we demonstrate that the 1-step approach outperforms the typical 2-step approach which first generates lexical transcriptions followed by text-based entity extraction for identifying spoken entities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google