Structural Transfer Learning in NL-to-Bash Semantic Parsers

要約

大規模な事前トレーニングは自然言語処理の多くの分野で進歩を遂げていますが、事前トレーニング データセットの設計についてはほとんど理解されていません。
機械翻訳タスク間の構造的重複を定量的に理解するための方法論を提案します。
私たちの方法論を自然言語から Bash セマンティック解析タスク (NLBash) に適用し、それが主に字句アライメントに還元できることを示します。
また、NLBash と自然言語と SQL の間には強い構造的重複があることもわかりました。
さらに、英語からドイツ語への機械翻訳タスクの事前トレーニング中に消費されるコンピューティングを変化させる調査を実行しましたが、事前トレーニング中に消費されるコンピューティングの増加が、NLBash へのより強力な転送を伴うセマンティック表現に必ずしも対応するとは限らないことがわかりました。

要約(オリジナル)

Large-scale pre-training has made progress in many fields of natural language processing, though little is understood about the design of pre-training datasets. We propose a methodology for obtaining a quantitative understanding of structural overlap between machine translation tasks. We apply our methodology to the natural language to Bash semantic parsing task (NLBash) and show that it is largely reducible to lexical alignment. We also find that there is strong structural overlap between NLBash and natural language to SQL. Additionally, we perform a study varying compute expended during pre-training on the English to German machine translation task and find that more compute expended during pre-training does not always correspond semantic representations with stronger transfer to NLBash.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google