Towards Resilient and Efficient LLMs: A Comparative Study of Efficiency, Performance, and Adversarial Robustness

要約

大規模言語モデル (LLM) の実用的なアプリケーションに対する需要が高まるにつれ、パフォーマンスと計算コストのバランスをとるために、注意効率の高い多くのモデルが開発されてきました。
ただし、これらのモデルの敵対的な堅牢性はまだ十分に調査されていません。
この研究では、さまざまなレベルの複雑さと効率を持つ 3 つの著名なモデル (Transformer++、Gated Linear Attender (GLA) Transformer、および MatMul) を比較することにより、LLM の効率、パフォーマンス、敵対的堅牢性の間のトレードオフを調査するためのフレームワークを設計します。
-無料 LM — GLUE および AdvGLUE データセットを利用します。
AdvGLUE データセットは、モデルの堅牢性に挑戦するように設計された敵対的サンプルを使用して GLUE データセットを拡張します。
私たちの結果は、GLA Transformer と MatMul-Free LM は、GLUE タスクではわずかに低い精度を達成しますが、AdvGLUE タスクでは、さまざまな攻撃レベルにわたって Transformer++ と比較して、より高い効率と優れたまたは同等の堅牢性を示していることを示しています。
これらの調査結果は、効率、パフォーマンス、敵対的堅牢性の間の魅力的なバランスを達成するための簡素化されたアーキテクチャの可能性を強調しており、リソースの制約と敵対的攻撃に対する回復力が重要なアプリケーションに貴重な洞察を提供します。

要約(オリジナル)

With the increasing demand for practical applications of Large Language Models (LLMs), many attention-efficient models have been developed to balance performance and computational cost. However, the adversarial robustness of these models remains under-explored. In this work, we design a framework to investigate the trade-off between efficiency, performance, and adversarial robustness of LLMs by comparing three prominent models with varying levels of complexity and efficiency — Transformer++, Gated Linear Attention (GLA) Transformer, and MatMul-Free LM — utilizing the GLUE and AdvGLUE datasets. The AdvGLUE dataset extends the GLUE dataset with adversarial samples designed to challenge model robustness. Our results show that while the GLA Transformer and MatMul-Free LM achieve slightly lower accuracy on GLUE tasks, they demonstrate higher efficiency and either superior or comparative robustness on AdvGLUE tasks compared to Transformer++ across different attack levels. These findings highlight the potential of simplified architectures to achieve a compelling balance between efficiency, performance, and adversarial robustness, offering valuable insights for applications where resource constraints and resilience to adversarial attacks are critical.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google