Grounded and Well-rounded: A Methodological Approach to the Study of Cross-modal and Cross-lingual Grounding

要約

グラウンディングは、より完全で真に意味論的に優れた人工知能システムの開発に向けた重要な要素であると主張されています。
文献は 2 つの陣営に分かれています。グラウンディングによって質的に異なる一般化が可能になると主張する人もいますが、モノモーダルなデータ量によってそれを補うことができると考える人もいます。
どちらの立場を支持するか反対する限られた経験的証拠が現れていますが、それはグラウンディングとそのNLPシステムへの影響を研究することに伴う方法論的な課題によるものであると私たちは主張しています。
この論文では、テキストのみよりも豊富な入力ソースをモデルに提供することで、どのような効果があるのか​​を研究するための方法論的枠組みを確立します。
その核心は、さまざまな入力モダリティでトレーニングされたモデルの母集団の比較可能なサンプルを構築することであり、これにより、定量化可能なモデルのパフォーマンスからさまざまな入力ソースの定性的効果を区別できるようになります。
このフレームワークを使用した実験では、クロスモーダルにグラウンディングされたモデル、クロスリンガルにグラウンディングされたモデル、およびグラウンディングされていないモデル間のモデル動作の定性的な違いが明らかになり、セマンティクスがどの程度具体的であるかに応じて、グローバル データセット レベルと特定の単語表現の両方で測定されます。

要約(オリジナル)

Grounding has been argued to be a crucial component towards the development of more complete and truly semantically competent artificial intelligence systems. Literature has divided into two camps: While some argue that grounding allows for qualitatively different generalizations, others believe it can be compensated by mono-modal data quantity. Limited empirical evidence has emerged for or against either position, which we argue is due to the methodological challenges that come with studying grounding and its effects on NLP systems. In this paper, we establish a methodological framework for studying what the effects are – if any – of providing models with richer input sources than text-only. The crux of it lies in the construction of comparable samples of populations of models trained on different input modalities, so that we can tease apart the qualitative effects of different input sources from quantifiable model performances. Experiments using this framework reveal qualitative differences in model behavior between cross-modally grounded, cross-lingually grounded, and ungrounded models, which we measure both at a global dataset level as well as for specific word representations, depending on how concrete their semantics is.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google