Detecting and Restoring Non-Standard Hands in Stable Diffusion Generated Images

要約

安定拡散で生成された手の画像の解剖学的不正確さに対処するパイプラインを導入します。
最初のステップでは、モデルを効果的にトレーニングするために、手の異常に焦点を当てた特殊なデータセットを構築します。
微調整された検出モデルは、これらの異常を正確に特定し、目標を絞った修正を確実に行うために極めて重要です。
体の姿勢の推定は、正確な異常修正に不可欠な手の方向と位置を理解するのに役立ちます。
ControlNet と InstructPix2Pix の統合により、それぞれ高度な修復とピクセルレベルの変換が容易になります。
この 2 つのアプローチにより、忠実度の高い画像調整が可能になります。
この包括的なアプローチにより、解剖学的に正確な手を使用した画像が確実に生成され、実際の外観に非常に似ています。
私たちの実験結果は、安定した拡散出力における手の画像のリアリズムを向上させるパイプラインの有効性を示しています。
https://fixhand.yiqun.io でオンライン デモを提供しています

要約(オリジナル)

We introduce a pipeline to address anatomical inaccuracies in Stable Diffusion generated hand images. The initial step involves constructing a specialized dataset, focusing on hand anomalies, to train our models effectively. A finetuned detection model is pivotal for precise identification of these anomalies, ensuring targeted correction. Body pose estimation aids in understanding hand orientation and positioning, crucial for accurate anomaly correction. The integration of ControlNet and InstructPix2Pix facilitates sophisticated inpainting and pixel-level transformation, respectively. This dual approach allows for high-fidelity image adjustments. This comprehensive approach ensures the generation of images with anatomically accurate hands, closely resembling real-world appearances. Our experimental results demonstrate the pipeline’s efficacy in enhancing hand image realism in Stable Diffusion outputs. We provide an online demo at https://fixhand.yiqun.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google