Gradient-Free Textual Inversion

要約

タイトル：勾配を用いないテキストの反転
要約：
– 最近の個人用テキストから画像を生成する研究では、特定のトークンを調整することで、少数の画像に特定の主題やスタイルを結びつける方法を学習します。しかし、「モデル推論のプロセスにアクセスするだけでテキストの反転を最適化できるか」という疑問が自然に生じます。モデル推論だけでテキストの反転を決定することで、GPUメモリが少なく、展開が簡単で、スケーラブルモデルに対してセキュアなアクセスの利点が得られます。
– 本論文では、反復進化戦略による連続的なテキストの反転を最適化する「勾配を用いない」フレームワークを提案しています。具体的には、視覚とテキストの語彙情報を考慮して、テキストの反転に適したトークンの埋め込みを最初に初期化します。次に、進化戦略の最適化を探索空間の次元削減と非凸勾配フリー最適化に分解し、最適化プロセスを非常に加速し、パフォーマンスの低下は無視できるものにします。複数のアプリケーションでの実験では、提案された勾配を用いない方法で装備されたテキスト-画像モデルが、異なるGPU / CPUプラットフォーム、柔軟な雇用、計算効率において勾配を用いる方法と比較可能な性能を示すことが示されています。

要約(オリジナル)

Recent works on personalized text-to-image generation usually learn to bind a special token with specific subjects or styles of a few given images by tuning its embedding through gradient descent. It is natural to question whether we can optimize the textual inversions by only accessing the process of model inference. As only requiring the forward computation to determine the textual inversion retains the benefits of less GPU memory, simple deployment, and secure access for scalable models. In this paper, we introduce a \emph{gradient-free} framework to optimize the continuous textual inversion in an iterative evolutionary strategy. Specifically, we first initialize an appropriate token embedding for textual inversion with the consideration of visual and text vocabulary information. Then, we decompose the optimization of evolutionary strategy into dimension reduction of searching space and non-convex gradient-free optimization in subspace, which significantly accelerates the optimization process with negligible performance loss. Experiments in several applications demonstrate that the performance of text-to-image model equipped with our proposed gradient-free method is comparable to that of gradient-based counterparts with variant GPU/CPU platforms, flexible employment, as well as computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI