What the Weight?! A Unified Framework for Zero-Shot Knowledge Composition

要約

モデルにカプセル化された知識は、下流のタスクにおける最終的なパフォーマンスを決定する中心的な要素です。
NLP における多くの研究は、さまざまな種類の知識を、たとえば専用のモジュール化された構造に保存して適応させるための効率的な方法と、たとえば追加のパラメータを学習することによってこれらを効果的に組み合わせる方法に焦点を当ててきました。
しかし、考えられる選択肢が多数あるにもかかわらず、これらの組成に関与するメカニズムの完全な理解が不足しているため、どの戦略を利用するべきかは不明のままです。
この研究ギャップに対処するために、我々はゼロショットモジュール構成のための新しいフレームワークを提案します。これは、単一の統一概念の下でパラメータモジュールを選択、重み付け、結合するための既存のバリエーションといくつかの新しいバリエーションを包含します。
ドメイン知識とアダプター層のシナリオに焦点を当てた私たちのフレームワークは、概念の体系的な統一を提供し、さまざまなゼロショット知識構成戦略の最初の包括的なベンチマーク調査を実行できるようにします。
特に、2 つのモジュールの組み合わせ方法と 5 つの選択および重み付け戦略を、広範な実験設定で有効性と効率性についてテストします。
私たちの結果は、アンサンブルの有効性を強調していますが、単純ではあるが無視されがちな重み付け手法の威力も示唆しています。
さらに詳細な分析により、重み付けと上位 K 選択の役割を理解できるようになり、アダプター構成のパフォーマンスをある程度まで予測できることもわかります。

要約(オリジナル)

The knowledge encapsulated in a model is the core factor determining its final performance on downstream tasks. Much research in NLP has focused on efficient methods for storing and adapting different types of knowledge, e.g., in dedicated modularized structures, and on how to effectively combine these, e.g., by learning additional parameters. However, given the many possible options, a thorough understanding of the mechanisms involved in these compositions is missing, and hence it remains unclear which strategies to utilize. To address this research gap, we propose a novel framework for zero-shot module composition, which encompasses existing and some novel variations for selecting, weighting, and combining parameter modules under a single unified notion. Focusing on the scenario of domain knowledge and adapter layers, our framework provides a systematic unification of concepts, allowing us to conduct the first comprehensive benchmarking study of various zero-shot knowledge composition strategies. In particular, we test two module combination methods and five selection and weighting strategies for their effectiveness and efficiency in an extensive experimental setup. Our results highlight the efficacy of ensembling but also hint at the power of simple though often-ignored weighting methods. Further in-depth analyses allow us to understand the role of weighting vs. top-k selection, and show that, to a certain extent, the performance of adapter composition can even be predicted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google