Lost in Transmission: On the Impact of Networking Corruptions on Video Machine Learning Models

要約

ネットワークの破損（ネットワークエラーによって引き起こされるデータの破損）がビデオ機械学習（ML）モデルにどのように影響するかを調査します。
ベンチマークビデオMLデータセットであるKinetics-400で明らかなネットワークの破損を発見しました。
シミュレーション研究では、（1）ネットワークの破損が引き起こすアーティファクト、（2）そのようなアーティファクトがMLモデルにどのように影響するか、（3）標準の堅牢性手法がそれらの悪影響を軽減できるかどうかを調査します。
ネットワークの破損により、視覚的および一時的なアーティファクト（つまり、色のにじみやフレームのドロップ）が発生することがわかりました。
これらのネットワークの破損により、さまざまなビデオMLタスクのパフォーマンスが低下しますが、タスクに必要な時間的コンテキストの量に応じて、タスクとデータセットによって影響が異なります。
最後に、データ拡張（データ破損に対する標準的な防御）を評価しますが、パフォーマンスが回復しないことがわかります。

要約(オリジナル)

We study how networking corruptions–data corruptions caused by networking errors–affect video machine learning (ML) models. We discover apparent networking corruptions in Kinetics-400, a benchmark video ML dataset. In a simulation study, we investigate (1) what artifacts networking corruptions cause, (2) how such artifacts affect ML models, and (3) whether standard robustness methods can mitigate their negative effects. We find that networking corruptions cause visual and temporal artifacts (i.e., smeared colors or frame drops). These networking corruptions degrade performance on a variety of video ML tasks, but effects vary by task and dataset, depending on how much temporal context the tasks require. Lastly, we evaluate data augmentation–a standard defense for data corruptions–but find that it does not recover performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google