Are Current Decoding Strategies Capable of Facing the Challenges of Visual Dialogue?

要約

デコード戦略は、自然言語生成システムにおいて重要な役割を果たします。
それらは通常、制限のないテキストのみのタスクで設計および評価されます。さまざまな戦略が、目標指向のマルチモーダル システムが直面する多くの課題 (グラウンディングや有益性など) にどのように対処するかは明らかではありません。
この質問に答えるために、Visual Dialogue 参照ゲームでさまざまなデコード戦略とハイパーパラメーター構成を比較します。
語彙の豊富さ、タスクの正確さ、および視覚的な根拠のバランスをとることに成功したものはありませんが、詳細な分析により、各デコード戦略の長所と短所を強調することができます.
私たちの調査結果と提案は、Visual Dialogue タスクの課題を処理するより効果的なデコード アルゴリズムを設計するための出発点になると考えています。

要約(オリジナル)

Decoding strategies play a crucial role in natural language generation systems. They are usually designed and evaluated in open-ended text-only tasks, and it is not clear how different strategies handle the numerous challenges that goal-oriented multimodal systems face (such as grounding and informativeness). To answer this question, we compare a wide variety of different decoding strategies and hyper-parameter configurations in a Visual Dialogue referential game. Although none of them successfully balance lexical richness, accuracy in the task, and visual grounding, our in-depth analysis allows us to highlight the strengths and weaknesses of each decoding strategy. We believe our findings and suggestions may serve as a starting point for designing more effective decoding algorithms that handle the challenges of Visual Dialogue tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google