Transformer-based Graph Neural Networks for Outfit Generation

要約

タイトル：Transformer-based Graph Neural Networks for Outfit Generation

要約：
– 服の組み合わせを提案することは近年注目されはじめたプロセスだが、ファッションのトレンドや視覚的な美しさについての精密な理解が必要になる。
– 以前の研究は主に、視覚的魅力をスコアリングし、衣服を順序付けられたシーケンスとしてまたは相互に互換性のあるアイテムのコレクションとして表現することに重点を置いていた。
– これにより、衣服の関係を完全に活用することができなくなっていた。
– 本稿では、アイテムのコレクションをグラフベースで表現することで、アウトフィットの提案と生成の間のギャップを埋めることを試みた。
– TGNNというトランスフォーマーベースのアーキテクチャを提案し、グラフ内の衣服の関係をキャプチャするためにマルチヘッドセルフアテンションを利用した畳み込みグラフニューラルネットワークのメッセージパッシングステップを利用した。
– 具体的には、シード（つまり、1つまたは複数の衣服）から開始して、アウトフィットの生成は、前に選択したものと最も互換性がある衣服を反復的に選択することによって実行される。
– 2つの異なるデータセットを用いた実験が広範に行われ、モデルがシードアウトフィットの生成を実行する能力を示し、互換性の推定タスクで最新の結果を得られることを実証している。

要約(オリジナル)

Suggesting complementary clothing items to compose an outfit is a process of emerging interest, yet it involves a fine understanding of fashion trends and visual aesthetics. Previous works have mainly focused on recommendation by scoring visual appeal and representing garments as ordered sequences or as collections of pairwise-compatible items. This limits the full usage of relations among clothes. We attempt to bridge the gap between outfit recommendation and generation by leveraging a graph-based representation of items in a collection. The work carried out in this paper, tries to build a bridge between outfit recommendation and generation, by discovering new appealing outfits starting from a collection of pre-existing ones. We propose a transformer-based architecture, named TGNN, which exploits multi-headed self attention to capture relations between clothing items in a graph as a message passing step in Convolutional Graph Neural Networks. Specifically, starting from a seed, i.e.~one or more garments, outfit generation is performed by iteratively choosing the garment that is most compatible with the previously chosen ones. Extensive experimentations are conducted with two different datasets, demonstrating the capability of the model to perform seeded outfit generation as well as obtaining state of the art results on compatibility estimation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI