SG2VID: Scene Graphs Enable Fine-Grained Control for Video Synthesis

要約

外科的シミュレーションは、初心者の外科医の訓練、学習曲線の加速、術中エラーの減少において極めて重要な役割を果たします。
ただし、従来のシミュレーションツールは、必要なフォトリアリズムと人間の解剖学の変動を提供するのに不十分です。
これに応じて、現在の方法は生成モデルベースのシミュレーターに向かってシフトしています。
しかし、これらのアプローチは主に、より複雑な条件付けを使用して正確な合成のために使用しながら、細粒の人間のコントロールの側面を無視することに焦点を当てています。
このギャップに対処するために、正確なビデオ統合と細粒のヒトコントロールの両方にシーングラフを活用する最初の拡散ベースのビデオモデルであるSG2VIDを導入します。
白内障と胆嚢摘出術の手術を特徴とする3つの公開データセットにわたってSG2VIDの機能を示します。
SG2VIDは、定性的および定量的に以前の方法を上回りますが、正確な合成も可能になり、ツールと解剖学のサイズと動き、新しいツールの入り口、および全体的なシーンレイアウトを正確に制御できます。
SG2VIDを生成的増強に使用する方法を定性的に動機付け、合成ビデオでトレーニングセットが拡張されたときに下流の位相検出タスクを改善する能力を実証する実験を提示します。
最後に、SG2VIDの人間の制御を維持する能力を紹介するために、シーングラフと対話して、主要でありながらまれな術中の不規則性を描いた新しいビデオサンプルを生成します。

要約(オリジナル)

Surgical simulation plays a pivotal role in training novice surgeons, accelerating their learning curve and reducing intra-operative errors. However, conventional simulation tools fall short in providing the necessary photorealism and the variability of human anatomy. In response, current methods are shifting towards generative model-based simulators. Yet, these approaches primarily focus on using increasingly complex conditioning for precise synthesis while neglecting the fine-grained human control aspect. To address this gap, we introduce SG2VID, the first diffusion-based video model that leverages Scene Graphs for both precise video synthesis and fine-grained human control. We demonstrate SG2VID’s capabilities across three public datasets featuring cataract and cholecystectomy surgery. While SG2VID outperforms previous methods both qualitatively and quantitatively, it also enables precise synthesis, providing accurate control over tool and anatomy’s size and movement, entrance of new tools, as well as the overall scene layout. We qualitatively motivate how SG2VID can be used for generative augmentation and present an experiment demonstrating its ability to improve a downstream phase detection task when the training set is extended with our synthetic videos. Finally, to showcase SG2VID’s ability to retain human control, we interact with the Scene Graphs to generate new video samples depicting major yet rare intra-operative irregularities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google