Global Clipper: Enhancing Safety and Reliability of Transformer-based Object Detection Models

要約

変圧器ベースの物体検出モデルが進歩するにつれて、自動運転車や航空などの重要な分野におけるその影響は増大すると予想されます。
推論中にビット反転を引き起こすソフトエラーは、DNN のパフォーマンスに大きな影響を与え、予測を変更します。
CNN に対する従来の範囲制限ソリューションは、変圧器には不十分です。
この調査では、変圧器ベースのモデル向けに特別に設計された効果的な緩和戦略である Global Clipper と Global Hybrid Clipper を紹介します。
これにより、ソフト エラーに対する回復力が大幅に強化され、誤った推論が ~ 0\% に減少します。
また、モデルの堅牢性を包括的に評価するために、3 つのデータセット (合計約 330 万の推論) を使用した 2 つのトランスフォーマー モデル (DINO-DETR および Lite-DETR) と 2 つの CNN モデル (YOLOv3 および SSD) を含む 64 を超えるシナリオにわたる広範なテストについて詳しく説明します。
さらに、この論文では、トランスフォーマーのアテンション ブロックのユニークな側面と、CNN との動作の違いについても調査します。

要約(オリジナル)

As transformer-based object detection models progress, their impact in critical sectors like autonomous vehicles and aviation is expected to grow. Soft errors causing bit flips during inference have significantly impacted DNN performance, altering predictions. Traditional range restriction solutions for CNNs fall short for transformers. This study introduces the Global Clipper and Global Hybrid Clipper, effective mitigation strategies specifically designed for transformer-based models. It significantly enhances their resilience to soft errors and reduces faulty inferences to ~ 0\%. We also detail extensive testing across over 64 scenarios involving two transformer models (DINO-DETR and Lite-DETR) and two CNN models (YOLOv3 and SSD) using three datasets, totalling approximately 3.3 million inferences, to assess model robustness comprehensively. Moreover, the paper explores unique aspects of attention blocks in transformers and their operational differences from CNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google