On Using Distribution-Based Compositionality Assessment to Evaluate Compositional Generalisation in Machine Translation

要約

NLP およびより一般的な機械学習における構成一般化 (CG) は、主に人工データセットを使用して評価されてきました。
実環境に導入されたシステムの能力と限界を理解するには、現実世界の自然言語タスクにおいても CG を評価するためのベンチマークを開発することが重要です。
この目的を達成するために、GenBench の共同ベンチマーク タスクの提出では、分布ベースの構成性評価 (DBCA) フレームワークを利用して、テスト セットに構成的汎化能力が必要となるように、Europarl 翻訳コーパスをトレーニング セットとテスト セットに分割します。
具体的には、トレーニング セットとテスト セットには依存関係の分散分布があり、トレーニングされていない依存関係を変換する NMT システムの能力をテストします。
これは、自然言語の構成性ベンチマークを作成するための完全に自動化された手順であり、他のデータセットや言語にさらに適用することが簡単かつ安価になります。
実験のコードとデータは https://github.com/aalto-speech/dbca で入手できます。

要約(オリジナル)

Compositional generalisation (CG), in NLP and in machine learning more generally, has been assessed mostly using artificial datasets. It is important to develop benchmarks to assess CG also in real-world natural language tasks in order to understand the abilities and limitations of systems deployed in the wild. To this end, our GenBench Collaborative Benchmarking Task submission utilises the distribution-based compositionality assessment (DBCA) framework to split the Europarl translation corpus into a training and a test set in such a way that the test set requires compositional generalisation capacity. Specifically, the training and test sets have divergent distributions of dependency relations, testing NMT systems’ capability of translating dependencies that they have not been trained on. This is a fully-automated procedure to create natural language compositionality benchmarks, making it simple and inexpensive to apply it further to other datasets and languages. The code and data for the experiments is available at https://github.com/aalto-speech/dbca.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google