Towards Zero-Shot Functional Compositionality of Language Models

要約

大規模な事前学習済み言語モデル（PLM）は、多くの個別タスクを解決するのに非常に優れているため、自然言語処理分野で最も望ましい出発点となっている。このような成功にもかかわらず、本論文では、PLMを扱う現在のパラダイムが、人間の知能をモデル化する上で重要な側面である機能的構成性を軽視していることを論じる。機能的構成性（学習したタスクを構成する能力）は、人間の知能の特徴の1つと考えられているため、AI分野（および他の多くの分野）において長年の課題となっている。そのような例として、クロスリンガル要約が挙げられる。英語とフランス語のバイリンガルであれば、英語の文書や要約を明示的にフランス語に翻訳しなくても、英語の文書をフランス語の文章に直接要約することが可能である。この件がなぜ重要な未解決問題であり、現場からのさらなる注意が必要なのかを議論する。次に、現在のPLM（GPT-2やT5など）はまだ機能的な合成性を持っておらず、人間レベルの汎化性からはほど遠いことを示す。最後に、言語モデルのゼロショット機能合成に向けて、この分野を押し上げることができるいくつかの研究の方向性を提案する。

要約(オリジナル)

Large Pre-trained Language Models (PLM) have become the most desirable starting point in the field of NLP, as they have become remarkably good at solving many individual tasks. Despite such success, in this paper, we argue that current paradigms of working with PLMs are neglecting a critical aspect of modeling human intelligence: functional compositionality. Functional compositionality – the ability to compose learned tasks – has been a long-standing challenge in the field of AI (and many other fields) as it is considered one of the hallmarks of human intelligence. An illustrative example of such is cross-lingual summarization, where a bilingual person (English-French) could directly summarize an English document into French sentences without having to translate the English document or summary into French explicitly. We discuss why this matter is an important open problem that requires further attention from the field. Then, we show that current PLMs (e.g., GPT-2 and T5) don’t have functional compositionality yet and it is far from human-level generalizability. Finally, we suggest several research directions that could push the field towards zero-shot functional compositionality of language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL