要約
既知の原始的な概念をより大きな新しい組み合わせに再結合することは、典型的な人間の認知能力です。
NLP の大規模なニューラル モデルがデータから学習しながらこの能力を獲得できるかどうかは未解決の問題です。
この論文では、形式言語の観点からこの問題を調査します。
決定論的な有限状態トランスデューサーを使用して、構成性を制御する制御可能な特性を持つ無制限の数のデータセットを作成します。
多くのトランスデューサをランダムにサンプリングすることで、どの特性がニューラル ネットワークによる構成関係の学習可能性に寄与しているかを調査します。
モデルが関係を完全に学習するか、まったく学習しないかのどちらかであることがわかります。
鍵となるのは遷移のカバレッジで、ソフト学習の制限を遷移ごとに 400 例に設定します。
要約(オリジナル)
Recombining known primitive concepts into larger novel combinations is a quintessentially human cognitive capability. Whether large neural models in NLP can acquire this ability while learning from data is an open question. In this paper, we investigate this problem from the perspective of formal languages. We use deterministic finite-state transducers to make an unbounded number of datasets with controllable properties governing compositionality. By randomly sampling over many transducers, we explore which of their properties contribute to learnability of a compositional relation by a neural network. We find that the models either learn the relations completely or not at all. The key is transition coverage, setting a soft learnability limit at 400 examples per transition.
arxiv情報
| 著者 | Josef Valvoda,Naomi Saphra,Jonathan Rawski,Adina Williams,Ryan Cotterell |
| 発行日 | 2023-08-01 15:19:55+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google