Overview of the TREC 2023 Product Product Search Track

要約

今年は TREC 製品検索トラックの初年度です。
今年の焦点は、再利用可能なコレクションの作成と、メタデータとマルチモーダル データの使用が検索精度に及ぼす影響の評価でした。
今年は、コンテキスト メタデータを含む新しい製品検索コーパスを活用します。
私たちの分析によると、製品検索ドメインでは、従来の検索システムが非常に効果的であり、一般に汎用の事前トレーニング済み埋め込みモデルよりも優れたパフォーマンスを発揮します。
私たちの分析では、簡素化されメタデータが強化されたコレクションを使用した場合の影響も評価していますが、拡張されたコレクションの影響に明確な傾向は見つかりませんでした。
いくつかの驚くべき結果も見られます。
広く採用されており、他のタスクでは競争力のあるパフォーマンスを示しているにもかかわらず、シングルステージの密な取得の実行は一般に、ゼロショット領域と微調整領域の両方で競争力がなかったり、低品質の結果を生成したりする可能性があることがわかりました。

要約(オリジナル)

This is the first year of the TREC Product search track. The focus this year was the creation of a reusable collection and evaluation of the impact of the use of metadata and multi-modal data on retrieval accuracy. This year we leverage the new product search corpus, which includes contextual metadata. Our analysis shows that in the product search domain, traditional retrieval systems are highly effective and commonly outperform general-purpose pretrained embedding models. Our analysis also evaluates the impact of using simplified and metadata-enhanced collections, finding no clear trend in the impact of the expanded collection. We also see some surprising outcomes; despite their widespread adoption and competitive performance on other tasks, we find single-stage dense retrieval runs can commonly be noncompetitive or generate low-quality results both in the zero-shot and fine-tuned domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google