Competence-Based Analysis of Language Models

要約

最近、さまざまなプロンプト タスクに対する大規模な事前トレーニング済み言語モデル (LM) の成功にもかかわらず、これらのモデルは、入力やアプリケーション コンテキストの小さな変更に対して驚くほど脆弱になる可能性があります。
このような動作をよりよく理解し、より堅牢な LM の設計を動機付けるために、我々は一般的な実験フレームワーク CALM (能力に基づく言語モデル分析) を提案します。このフレームワークでは、標的を絞った因果的介入を利用して、LM のさまざまな言語特性の内部表現に損傷を与えます。
特定のタスクを実行する際の各表現の使用を評価します。
我々は、これらの介入を勾配ベースの敵対的攻撃として実装します。これは、(以前の因果関係調査手法とは対照的に) 関係プロパティの任意にエンコードされた表現をターゲットにすることができ、BERT のような LM がどのように使用するかを分析するためにこのアプローチのケーススタディを実行します。
関連する関係プロンプト タスクを実行する際の、いくつかの関係プロパティの表現。
LM が各タスクを実行する際に活用する表現は高度に複雑に絡み合っていますが、LM が最も活用されるタスクの観点からは有意義に解釈される可能性があることがわかりました。
さらに広く言えば、CALM により、既存の LM の弱点を予測して説明するのに役立つ可能性のある LM 分析の調査範囲が拡大されます。

要約(オリジナル)

Despite the recent success of large pretrained language models (LMs) on a variety of prompting tasks, these models can be alarmingly brittle to small changes in inputs or application contexts. To better understand such behavior and motivate the design of more robust LMs, we propose a general experimental framework, CALM (Competence-based Analysis of Language Models), where targeted causal interventions are utilized to damage an LM’s internal representation of various linguistic properties in order to evaluate its use of each representation in performing a given task. We implement these interventions as gradient-based adversarial attacks, which (in contrast to prior causal probing methodologies) are able to target arbitrarily-encoded representations of relational properties, and carry out a case study of this approach to analyze how BERT-like LMs use representations of several relational properties in performing associated relation prompting tasks. We find that, while the representations LMs leverage in performing each task are highly entangled, they may be meaningfully interpreted in terms of the tasks where they are most utilized; and more broadly, that CALM enables an expanded scope of inquiry in LM analysis that may be useful in predicting and explaining weaknesses of existing LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google