要約
グラフィカル ユーザー インターフェイス (GUI) を中心としたプログラムのバグを文書化するために、ビデオ ベースのバグ レポートがますます使用されています。
ただし、ビデオベースのレポートを管理する自動化技術の開発は、報告されたバグに関する重要な情報を捉える微妙な視覚パターンを特定して理解する必要があるため、困難です。
このペーパーでは、ビデオベースのレポートの重複検出というバグ レポート管理タスクを高度化することで、これらの課題を克服することを目指しています。
この目的を達成するために、JANUS と呼ばれる新しいアプローチを導入します。これは、ビジョン トランスフォーマーのシーン学習機能を適応させて、アプリの UI 画面に現れる微妙な視覚的およびテキストのパターンをキャプチャします。これは、重複レポートを正確に検出するために類似した画面を区別するための鍵となります。
。
JANUS はまた、典型的なバグの発現パターンを考慮して、ビデオ フレームに適応的に重み付けを行うことができるビデオ調整技術も利用しています。
90 件の Android アプリのバグから得た 270 件のビデオベースのバグレポートから派生した 7,290 件の重複検出タスクを含むベンチマークでの包括的な評価では、当社のアプローチの最適な構成では、全体的な mRR/mAP が 89.8%/84.7% に達し、大多数のバグで全体的な mRR/mAP が達成されました。
重複検出タスクの割合は、以前の作業を約 9% 上回り、統計的に有意な程度に達しました。
最後に、Janus が提供するシーン学習機能がパフォーマンスにどのようなメリットをもたらすかを定性的に説明します。
要約(オリジナル)
Video-based bug reports are increasingly being used to document bugs for programs centered around a graphical user interface (GUI). However, developing automated techniques to manage video-based reports is challenging as it requires identifying and understanding often nuanced visual patterns that capture key information about a reported bug. In this paper, we aim to overcome these challenges by advancing the bug report management task of duplicate detection for video-based reports. To this end, we introduce a new approach, called JANUS, that adapts the scene-learning capabilities of vision transformers to capture subtle visual and textual patterns that manifest on app UI screens – which is key to differentiating between similar screens for accurate duplicate report detection. JANUS also makes use of a video alignment technique capable of adaptive weighting of video frames to account for typical bug manifestation patterns. In a comprehensive evaluation on a benchmark containing 7,290 duplicate detection tasks derived from 270 video-based bug reports from 90 Android app bugs, the best configuration of our approach achieves an overall mRR/mAP of 89.8%/84.7%, and for the large majority of duplicate detection tasks, outperforms prior work by around 9% to a statistically significant degree. Finally, we qualitatively illustrate how the scene-learning capabilities provided by Janus benefits its performance.
arxiv情報
| 著者 | Yanfu Yan,Nathan Cooper,Oscar Chaparro,Kevin Moran,Denys Poshyvanyk |
| 発行日 | 2024-07-11 15:48:36+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google