The Dawn of KAN in Image-to-Image (I2I) Translation: Integrating Kolmogorov-Arnold Networks with GANs for Unpaired I2I Translation

要約

生成人工知能 (Generative AI) における画像から画像への変換は研究の中心となっており、アプリケーションはヘルスケア、リモート センシング、物理学、化学、写真などに及びます。
数多くの方法論の中でも、対照学習を備えた敵対的生成ネットワーク (GAN) が特に成功を収めています。
この研究は、コルモゴロフ-アーノルド ネットワーク (KAN) が生成 AI、特に画像間の変換のサブドメインにおいて多層パーセプトロン (MLP) 手法を効果的に置き換えて、より優れた生成品質を達成できることを実証することを目的としています。
私たちの新しいアプローチは、既存の対照的不対画像間変換 (CUT) モデルの 2 層 MLP を 2 層 KAN に置き換え、KAN-CUT モデルを開発します。
この置換により、低次元ベクトル表現でのより有益な特徴の生成が促進され、これを対照学習でより効果的に利用して、ターゲット ドメインで高品質の画像を生成できます。
結果のセクションで詳しく説明されている広範な実験では、生成 AI、特に画像間の変換における対照学習および GAN​​ と組み合わせた KAN の適用可能性を実証しています。
この研究は、KAN がより広範な生成 AI ドメインにおいて貴重なコンポーネントとなる可能性があることを示唆しています。

要約(オリジナル)

Image-to-Image translation in Generative Artificial Intelligence (Generative AI) has been a central focus of research, with applications spanning healthcare, remote sensing, physics, chemistry, photography, and more. Among the numerous methodologies, Generative Adversarial Networks (GANs) with contrastive learning have been particularly successful. This study aims to demonstrate that the Kolmogorov-Arnold Network (KAN) can effectively replace the Multi-layer Perceptron (MLP) method in generative AI, particularly in the subdomain of image-to-image translation, to achieve better generative quality. Our novel approach replaces the two-layer MLP with a two-layer KAN in the existing Contrastive Unpaired Image-to-Image Translation (CUT) model, developing the KAN-CUT model. This substitution favors the generation of more informative features in low-dimensional vector representations, which contrastive learning can utilize more effectively to produce high-quality images in the target domain. Extensive experiments, detailed in the results section, demonstrate the applicability of KAN in conjunction with contrastive learning and GANs in Generative AI, particularly for image-to-image translation. This work suggests that KAN could be a valuable component in the broader generative AI domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google