AUTODIAL: Efficient Asynchronous Task-Oriented Dialogue Model

要約

【タイトル】効率的な非同期タスク指向の対話モデルAUTODIAL

【要約】
– 大規模な対話モデルが一般的になる中、トレーニング、推論、より大きいメモリフットプリントに関する高い計算要件にまだ対応する必要がある。
– AUTODIALは、対話モデルの展開の課題に対処するマルチタスク対話モデルである。
– AUTODIALは、対話アクト予測、ドメイン予測、意図予測、および対話状態トラッキングなどのタスクを実行するために並列デコーダを利用する。
– 分類デコーダを生成デコーダの上に使用することにより、AUTODIALは、既存の生成アプローチであるSimpleTODに比べて、メモリフットプリントを大幅に削減し、より速い推論時間を達成することができる。
– AUTODIALは、3つの対話タスクにおいてSimpleTODと比較して、推論中に3-6倍のスピードアップと11倍少ないパラメータを提供することを示し、現在の対話モデルを並列デコーダを持つように拡張することが、リソースに制限された環境で展開するための妥当な代替手段であることを示している。

要約(オリジナル)

As large dialogue models become commonplace in practice, the problems surrounding high compute requirements for training, inference and larger memory footprint still persists. In this work, we present AUTODIAL, a multi-task dialogue model that addresses the challenges of deploying dialogue model. AUTODIAL utilizes parallel decoders to perform tasks such as dialogue act prediction, domain prediction, intent prediction, and dialogue state tracking. Using classification decoders over generative decoders allows AUTODIAL to significantly reduce memory footprint and achieve faster inference times compared to existing generative approach namely SimpleTOD. We demonstrate that AUTODIAL provides 3-6x speedups during inference while having 11x fewer parameters on three dialogue tasks compared to SimpleTOD. Our results show that extending current dialogue models to have parallel decoders can be a viable alternative for deploying them in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI