SG2VID: Scene Graphs Enable Fine-Grained Control for Video Synthesis

要約

手術シミュレーションは、初心者の外科医を訓練し、学習曲線を加速させ、術中のエラーを減少させる上で極めて重要な役割を担っている。しかし、従来のシミュレーションツールでは、必要なフォトリアリズムや人体解剖の可変性を提供するには不十分であった。これに対し、現在の手法は生成モデルベースのシミュレータに移行しつつある。しかし、これらのアプローチでは、正確な合成のために複雑化する条件付けを使用することに主眼が置かれており、人間のきめ細かな制御の側面は無視されている。このギャップに対処するために、我々は、精密な映像合成ときめ細かな人間制御の両方にシーングラフを活用する、最初の拡散ベースの映像モデルであるSG2VIDを紹介する。SG2VIDの能力を、白内障手術と胆嚢摘出手術を扱った3つの公開データセットで実証する。SG2VIDは、質的にも量的にも従来の手法を凌駕する一方で、精密な合成を可能にし、ツールや解剖学的構造のサイズや動き、新しいツールの入り口、さらにはシーン全体のレイアウトを正確に制御する。また、SG2VIDがどのように生成補強に使用できるかを定性的に説明し、SG2VIDの学習セットを合成ビデオで拡張した場合に、下流の位相検出タスクを改善できることを実証する実験を示す。最後に、人間の制御を保持するSG2VIDの能力を示すために、我々はシーングラフと対話し、主要ではあるが稀な術中の不規則性を描写する新しいビデオサンプルを生成する。

要約(オリジナル)

Surgical simulation plays a pivotal role in training novice surgeons, accelerating their learning curve and reducing intra-operative errors. However, conventional simulation tools fall short in providing the necessary photorealism and the variability of human anatomy. In response, current methods are shifting towards generative model-based simulators. Yet, these approaches primarily focus on using increasingly complex conditioning for precise synthesis while neglecting the fine-grained human control aspect. To address this gap, we introduce SG2VID, the first diffusion-based video model that leverages Scene Graphs for both precise video synthesis and fine-grained human control. We demonstrate SG2VID’s capabilities across three public datasets featuring cataract and cholecystectomy surgery. While SG2VID outperforms previous methods both qualitatively and quantitatively, it also enables precise synthesis, providing accurate control over tool and anatomy’s size and movement, entrance of new tools, as well as the overall scene layout. We qualitatively motivate how SG2VID can be used for generative augmentation and present an experiment demonstrating its ability to improve a downstream phase detection task when the training set is extended with our synthetic videos. Finally, to showcase SG2VID’s ability to retain human control, we interact with the Scene Graphs to generate new video samples depicting major yet rare intra-operative irregularities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL