Competence-Based Analysis of Language Models

要約

さまざまなプロンプト タスクでの大規模な事前トレーニング済み言語モデル (LM) の最近の成功にもかかわらず、これらのモデルは、入力またはアプリケーション コンテキストの小さな変化に対して驚くほど脆弱になる可能性があります。
このような動作をよりよく理解し、より堅牢な LM の設計を動機付けるために、一般的な実験的フレームワークである CALM (言語モデルの能力に基づく分析) を提案します。
特定のタスクを実行する際の各表現の使用を評価します。
これらの介入を勾配ベースの敵対的攻撃として実装します。これは、(以前の因果探査方法論とは対照的に) 関係プロパティの任意にエンコードされた表現をターゲットにすることができ、このアプローチのケーススタディを実行して、BERT のような LM がどのように使用されるかを分析します。
関連する関係プロンプトタスクを実行する際のいくつかの関係プロパティの表現。
各タスクを実行する際にLMが活用する表現は非常に絡み合っていますが、LMが最も使用されるタスクに関して意味のある解釈ができる可能性があることがわかりました。
さらに広く言えば、その CALM は、既存の LM の弱点を予測および説明するのに役立つ可能性のある LM 分析の拡張された調査範囲を可能にします。

要約(オリジナル)

Despite the recent success of large pretrained language models (LMs) on a variety of prompting tasks, these models can be alarmingly brittle to small changes in inputs or application contexts. To better understand such behavior and motivate the design of more robust LMs, we propose a general experimental framework, CALM (Competence-based Analysis of Language Models), where targeted causal interventions are utilized to damage an LM’s internal representation of various linguistic properties in order to evaluate its use of each representation in performing a given task. We implement these interventions as gradient-based adversarial attacks, which (in contrast to prior causal probing methodologies) are able to target arbitrarily-encoded representations of relational properties, and carry out a case study of this approach to analyze how BERT-like LMs use representations of several relational properties in performing associated relation prompting tasks. We find that, while the representations LMs leverage in performing each task are highly entangled, they may be meaningfully interpreted in terms of the tasks where they are most utilized; and more broadly, that CALM enables an expanded scope of inquiry in LM analysis that may be useful in predicting and explaining weaknesses of existing LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google