NovelCraft: A Dataset for Novelty Detection and Discovery in Open Worlds

要約

人工エージェントが変化する環境で有用なタスクを実行するには、新規性を検出して適応できる必要があります。
ただし、視覚的な新規性の検出の研究では、元々オブジェクトの分類を目的としたCIFAR-10などの再利用されたデータセットでのみ評価されることがよくあります。
この方法では、新規性を、異なるオブジェクトタイプの適切にフレーム化された画像に制限します。
オープンワールドをナビゲートするという課題を表すには、新しいベンチマークが必要であることをお勧めします。
新しいNovelCraftデータセットには、ビデオゲームの世界でホッピングの組み立てタスクを完了するエージェントが見た画像と象徴的な世界の状態のマルチモーダルエピソードデータが含まれています。
一部のエピソードでは、ゲームプレイに影響を与える可能性のある新しいオブジェクトを挿入します。
目新しさは、複雑なシーン内でサイズ、位置、およびオクルージョンが異なる場合があります。
包括的な評価に焦点を当てて、最先端のノベルティ検出モデルと一般化されたカテゴリ検出モデルのベンチマークを行います。
結果は、将来の研究の機会を示唆しています。さまざまなタイプのミスのタスク固有のコストを認識しているモデルは、オープンワールドの新規性をより効果的に検出して適応させることができます。

要約(オリジナル)

In order for artificial agents to perform useful tasks in changing environments, they must be able to both detect and adapt to novelty. However, visual novelty detection research often only evaluates on repurposed datasets such as CIFAR-10 originally intended for object classification. This practice restricts novelties to well-framed images of distinct object types. We suggest that new benchmarks are needed to represent the challenges of navigating an open world. Our new NovelCraft dataset contains multi-modal episodic data of the images and symbolic world-states seen by an agent completing a pogo-stick assembly task within a video game world. In some episodes, we insert novel objects that can impact gameplay. Novelty can vary in size, position, and occlusion within complex scenes. We benchmark state-of-the-art novelty detection and generalized category discovery models with a focus on comprehensive evaluation. Results suggest an opportunity for future research: models aware of task-specific costs of different types of mistakes could more effectively detect and adapt to novelty in open worlds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google