Energy-Latency Manipulation of Multi-modal Large Language Models via Verbose Samples

要約

マルチモーダル大規模言語モデル (MLLM) の優れたパフォーマンスにもかかわらず、その展開には大量の計算リソースが必要です。
悪意のあるユーザーが大量のエネルギー消費と待ち時間 (エネルギー待ち時間コスト) を引き起こすと、計算リソースが枯渇し、サービスの可用性が損なわれます。
この論文では、MLLM、特に画像ベースとビデオベースの MLLM のこの脆弱性を調査し、知覚できない摂動を作成することで推論中に高いエネルギー遅延コストを引き起こすことを目的としています。
生成されるシーケンスの長さを最大化することで、高いエネルギー遅延コストを操作できることがわかり、これが、冗長な画像やビデオを含む冗長なサンプルを提案する動機になります。
具体的には、シーケンス終了 (EOS) トークンを遅延させる損失と、生成された各トークンの不確実性を高める不確実性損失を含む 2 つのモダリティ非特定損失が提案されています。
さらに、多様性を改善することは、複雑性を高めることでより長い応答を促進するために重要であり、これにより次のモダリティ固有の損失が引き起こされます。
冗長な画像の場合、多様な隠れ状態を促進するために、トークンの多様性の損失が提案されます。
冗長ビデオの場合、フレーム間の特徴多様性を高めるために、フレーム特徴多様性損失が提案されています。
これらの損失のバランスをとるために、時間的重み調整アルゴリズムを提案します。
実験では、冗長サンプルによって生成されるシーケンスの長さを大幅に拡張できることが実証されました。

要約(オリジナル)

Despite the exceptional performance of multi-modal large language models (MLLMs), their deployment requires substantial computational resources. Once malicious users induce high energy consumption and latency time (energy-latency cost), it will exhaust computational resources and harm availability of service. In this paper, we investigate this vulnerability for MLLMs, particularly image-based and video-based ones, and aim to induce high energy-latency cost during inference by crafting an imperceptible perturbation. We find that high energy-latency cost can be manipulated by maximizing the length of generated sequences, which motivates us to propose verbose samples, including verbose images and videos. Concretely, two modality non-specific losses are proposed, including a loss to delay end-of-sequence (EOS) token and an uncertainty loss to increase the uncertainty over each generated token. In addition, improving diversity is important to encourage longer responses by increasing the complexity, which inspires the following modality specific loss. For verbose images, a token diversity loss is proposed to promote diverse hidden states. For verbose videos, a frame feature diversity loss is proposed to increase the feature diversity among frames. To balance these losses, we propose a temporal weight adjustment algorithm. Experiments demonstrate that our verbose samples can largely extend the length of generated sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google