Visually Grounded Language Learning: a review of language games, datasets, tasks, and models

要約

近年、いくつかの機械学習モデルが提案されています。
彼らは、大規模なテキストのみのデータに対する言語モデリングの目標に基づいてトレーニングされます。
このような事前トレーニングにより、多くの自然言語理解および生成タスクで素晴らしい結果を達成できます。
しかし、「ラジオを聴く」だけでは意味の多くの側面を学ぶことはできません。
文献では、視覚モダリティにシンボルを根付かせるモデルを作成することを目的として、多くの視覚 + 言語 (V+L) タスクが定義されています。
この研究では、V+L 分野で提案されているいくつかのタスクとモデルの系統的な文献レビューを提供します。
我々は、ウィトゲンシュタインの「言語ゲーム」の考えに基づいて、そのようなタスクを 3 つの異なるグループ、1) 識別ゲーム、2) 生成ゲーム、3) インタラクティブ ゲームに分類します。
私たちの文献分析は、将来の研究が対話型ゲームに焦点を当てるべきであること、オブジェクト指示対象や行動計画に関する曖昧さを解決するには自然言語でのコミュニケーションが重要であること、また状況や出来事の意味論を理解するには物理的な具現化が不可欠であることの証拠を示しています。
全体として、これらはニューラル モデルで根拠のある意味を開発するための重要な要件を表しています。

要約(オリジナル)

In recent years, several machine learning models have been proposed. They are trained with a language modelling objective on large-scale text-only data. With such pretraining, they can achieve impressive results on many Natural Language Understanding and Generation tasks. However, many facets of meaning cannot be learned by “listening to the radio’ only. In the literature, many Vision+Language (V+L) tasks have been defined with the aim of creating models that can ground symbols in the visual modality. In this work, we provide a systematic literature review of several tasks and models proposed in the V+L field. We rely on Wittgenstein’s idea of `language games’ to categorise such tasks into 3 different families: 1) discriminative games, 2) generative games, and 3) interactive games. Our analysis of the literature provides evidence that future work should be focusing on interactive games where communication in Natural Language is important to resolve ambiguities about object referents and action plans and that physical embodiment is essential to understand the semantics of situations and events. Overall, these represent key requirements for developing grounded meanings in neural models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google