FArMARe: a Furniture-Aware Multi-task methodology for Recommending Apartments based on the user interests

要約

現在、多くの人が新しい宿泊施設の選択肢を頻繁に探さなければなりません。
適切なアパートを探すのは時間のかかるプロセスです。特に、Web 上にある広告の真実性を評価するにはアパートを訪問することが必須であることが多いためです。
このプロセスはメタバース内のアパートメントを訪問することで軽減できますが、Web ベースの推奨プラットフォームはこのタスクには適していません。
この欠点に対処するために、この論文では、テキストからアパートへの推奨と呼ばれる新しい問題を定義します。これは、ユーザーの興味を表すテキストクエリとの関連性に基づいてアパートをランク付けする必要があります。
この問題に取り組むために、家具を意識した目標を備えたクロスモーダル対比トレーニングをサポートするマルチタスク アプローチである FArMARe を導入します。
屋内シーンに関連する公開データセットには家具の詳細な説明が含まれていないため、6,000 を超えるアパートメントで構成されるデータセットを収集し、注釈を付けます。
3 つの異なる方法と 2 つの生の特徴抽出手順を使用した徹底的な実験により、当面の問題に対処する際の FArMARe の有効性が明らかになりました。

要約(オリジナル)

Nowadays, many people frequently have to search for new accommodation options. Searching for a suitable apartment is a time-consuming process, especially because visiting them is often mandatory to assess the truthfulness of the advertisements found on the Web. While this process could be alleviated by visiting the apartments in the metaverse, the Web-based recommendation platforms are not suitable for the task. To address this shortcoming, in this paper, we define a new problem called text-to-apartment recommendation, which requires ranking the apartments based on their relevance to a textual query expressing the user’s interests. To tackle this problem, we introduce FArMARe, a multi-task approach that supports cross-modal contrastive training with a furniture-aware objective. Since public datasets related to indoor scenes do not contain detailed descriptions of the furniture, we collect and annotate a dataset comprising more than 6000 apartments. A thorough experimentation with three different methods and two raw feature extraction procedures reveals the effectiveness of FArMARe in dealing with the problem at hand.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google