ICON$^2$: Reliably Benchmarking Predictive Inequity in Object Detection

要約

自動運転のような一か八かのアプリケーションにコンピュータビジョンシステムがますます大規模に導入されるにつれ、これらのシステムにおける社会的偏見に対する懸念が高まっています。
運転シーンでの物体検出など、現実世界のビジョン システムにおける公平性の分析は、歩行者の肌の色などの属性間の予測の不公平性を観察することに限定されており、交絡変数の役割を解きほぐすための一貫した方法論が欠けています。
特定の肌の色に対してモデルのパフォーマンスが低下するのでしょうか、それともデータセット内のそのようなシーンはオクルージョンや群衆のためにより困難なのでしょうか?
この研究では、この質問に確実に答えるためのフレームワークである ICON$^2$ を紹介します。
ICON$^2$ は、物体検出システムの欠陥に関する事前知識を活用して、部分母集団間のパフォーマンスの差異を特定し、これらの潜在的な交絡因子と特定の機密属性の間の相関関係を計算し、より信頼性の高い推定値を取得するために最も可能性の高い交絡因子を制御します。
モデルの偏り。
私たちのアプローチを使用して、BDD100K 運転データセットからの収入に関する物体検出のパフォーマンスに関する詳細な調査を実施し、有用な洞察を明らかにします。

要約(オリジナル)

As computer vision systems are being increasingly deployed at scale in high-stakes applications like autonomous driving, concerns about social bias in these systems are rising. Analysis of fairness in real-world vision systems, such as object detection in driving scenes, has been limited to observing predictive inequity across attributes such as pedestrian skin tone, and lacks a consistent methodology to disentangle the role of confounding variables e.g. does my model perform worse for a certain skin tone, or are such scenes in my dataset more challenging due to occlusion and crowds? In this work, we introduce ICON$^2$, a framework for robustly answering this question. ICON$^2$ leverages prior knowledge on the deficiencies of object detection systems to identify performance discrepancies across sub-populations, compute correlations between these potential confounders and a given sensitive attribute, and control for the most likely confounders to obtain a more reliable estimate of model bias. Using our approach, we conduct an in-depth study on the performance of object detection with respect to income from the BDD100K driving dataset, revealing useful insights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google