SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning

要約

ソフトウェア システムの成長に応じて従来の方法を拡張できないため、ビデオ ゲームのテストはますます困難な作業になっています。
手動テストは非常に労働集約的なプロセスであるため、すぐに法外なコストがかかります。
自動テストにスクリプトを使用することは手頃な価格ですが、スクリプトは非決定的な環境では効果がなく、各テストをいつ実行するかを知ることはまったく別の問題です。
最新のゲームの複雑さ、範囲、プレイヤーの期待は急速に高まっており、品質管理が制作コストと配信リスクの大きな部分を占めています。
このリスクを軽減して生産を実現することは、現在業界にとって大きな課題です。
リリースまでおよびリリース後に現実的な生産コストを維持するために、私たちはテストとデータ分析の自動化と並行して、予防的な品質保証戦略に焦点を当てています。
自動化ハブとしても機能しながら、テストの選択と欠陥の防止を担当するシステムである SUPERNOVA (Selection of testing and Universal defect Prevention in External Repositories for Novel Objective Verification of software Anomalies) を紹介します。
SUPERNOVA は、データ分析機能を機械および深層学習機能と統合することにより、品質保証テスターに​​よるバグの発見と開発者の欠陥削減を支援します。これにより、生産サイクル中の安定性が向上し、テストのコストが管理されます。
この直接的な影響は、これらのテスト選択の最適化を使用して出荷された未公開のスポーツ ゲーム タイトルのテスト時間が 55% 以上削減されたことが確認されています。
さらに、半教師あり機械学習モデルによって生成されたリスク スコアを使用すると、変更リストがバグを誘発する確率を 71% の精度と 77% の再現率で検出でき、この推論の詳細な内訳を開発者に提供できます。
これらの取り組みにより、ワークフローが改善され、開発中のゲーム タイトルに必要なテスト時間が短縮されます。

要約(オリジナル)

Testing video games is an increasingly difficult task as traditional methods fail to scale with growing software systems. Manual testing is a very labor-intensive process, and therefore quickly becomes cost prohibitive. Using scripts for automated testing is affordable, however scripts are ineffective in non-deterministic environments, and knowing when to run each test is another problem altogether. The modern game’s complexity, scope, and player expectations are rapidly increasing where quality control is a big portion of the production cost and delivery risk. Reducing this risk and making production happen is a big challenge for the industry currently. To keep production costs realistic up-to and after release, we are focusing on preventive quality assurance tactics alongside testing and data analysis automation. We present SUPERNOVA (Selection of tests and Universal defect Prevention in External Repositories for Novel Objective Verification of software Anomalies), a system responsible for test selection and defect prevention while also functioning as an automation hub. By integrating data analysis functionality with machine and deep learning capability, SUPERNOVA assists quality assurance testers in finding bugs and developers in reducing defects, which improves stability during the production cycle and keeps testing costs under control. The direct impact of this has been observed to be a reduction in 55% or more testing hours for an undisclosed sports game title that has shipped, which was using these test selection optimizations. Furthermore, using risk scores generated by a semi-supervised machine learning model, we are able to detect with 71% precision and 77% recall the probability of a change-list being bug inducing, and provide a detailed breakdown of this inference to developers. These efforts improve workflow and reduce testing hours required on game titles in development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google