eStonefish-scenes: A synthetically generated dataset for underwater event-based optical flow prediction tasks

要約

イベントベースのビジョンとスパイクニューラルネットワーク（SNNS）の使用の組み合わせは、特に視覚的な臭気や障害物の回避などのタスクでロボット工学に大きな影響を与えると予想されます。
通常、無人航空機（UAV）でキャプチャされる光学フロー予測のための既存の現実世界のイベントベースのデータセットは、貴重な洞察を提供しますが、多様性、スケーラビリティが限られており、収集が困難です。
さらに、水中アプリケーション用のラベル付きデータセットの顕著な不足があり、イベントベースのビジョンと自律的な水中車両（AUV）の統合を妨げます。
これに対処するために、合成データセットは、シミュレーションと現実のギャップを埋めながら、スケーラブルなソリューションを提供できます。
この作業では、Stonefishシミュレーターに基づいた合成イベントベースの光フローデータセットであるEstonefish-scenesを紹介します。
データセットに加えて、カスタマイズ可能な水中環境の作成を可能にするデータ生成パイプラインを提示します。
このパイプラインは、生物学的にインスパイアされた魚の学校など、障害物の回避やサンゴの周りの反応性ナビゲーションなど、現実的な動きパターンを示す魚の魚の学校などの動的なシナリオをシミュレートできるようにします。
さらに、地形全体にサンゴをランダムに分配することにより、現実的なサンゴ礁の海底を構築できるシーンジェネレーターを紹介します。
データのアクセシビリティを合理化するために、イベントベースのデータを処理するために設計された包括的なライブラリであるEwizを提示し、データの負荷、増強、視覚化、エンコード、およびトレーニングデータ生成のためのツールを提供し、損失機能とパフォーマンスメトリックを提供します。

要約(オリジナル)

The combined use of event-based vision and Spiking Neural Networks (SNNs) is expected to significantly impact robotics, particularly in tasks like visual odometry and obstacle avoidance. While existing real-world event-based datasets for optical flow prediction, typically captured with Unmanned Aerial Vehicles (UAVs), offer valuable insights, they are limited in diversity, scalability, and are challenging to collect. Moreover, there is a notable lack of labelled datasets for underwater applications, which hinders the integration of event-based vision with Autonomous Underwater Vehicles (AUVs). To address this, synthetic datasets could provide a scalable solution while bridging the gap between simulation and reality. In this work, we introduce eStonefish-scenes, a synthetic event-based optical flow dataset based on the Stonefish simulator. Along with the dataset, we present a data generation pipeline that enables the creation of customizable underwater environments. This pipeline allows for simulating dynamic scenarios, such as biologically inspired schools of fish exhibiting realistic motion patterns, including obstacle avoidance and reactive navigation around corals. Additionally, we introduce a scene generator that can build realistic reef seabeds by randomly distributing coral across the terrain. To streamline data accessibility, we present eWiz, a comprehensive library designed for processing event-based data, offering tools for data loading, augmentation, visualization, encoding, and training data generation, along with loss functions and performance metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google