Kuaipedia: a Large-scale Multi-modal Short-video Encyclopedia

要約

ウィキペディアなどのオンライン百科事典は、過去 20 年間に十分に開発され、研究されてきました。
ボランティアのコミュニティによって編集された Wiki ページで、Wiki アイテムの属性やその他の情報を見つけることができます。
ただし、従来のテキスト、画像、表では、Wiki アイテムの一部の側面を表現するのが困難です。
例えば「柴犬」の話になると、「どうやって餌をやるのか」とか、「餌を守らないようにしつけるにはどうすればいいのか」ということが気になるかもしれません。
現在、ショートビデオ プラットフォームはオンライン世界の特徴となっています。
TikTok、Instagram、Kuaishou、または YouTube Shorts のいずれを使用している場合でも、ショートビデオ アプリは今日のコンテンツの消費方法と作成方法を変えました。
エンターテイメント用の短いビデオを制作することを除けば、あらゆる分野で洞察力に富んだ知識を広く共有する著者がますます増えています。
私たちがナレッジビデオと呼ぶこれらの短いビデオは、消費者が商品 (例: 柴犬) について知りたいあらゆる側面 (例: 毛髪や餌の与え方) を簡単に表現でき、オンライン百科事典のように体系的に分析して整理することができます。
。
本稿では、有名なショートビデオプラットフォームであるKuaishou（Kwai）の数十億のビデオから抽出された、項目、側面、およびそれらに並ぶ短いビデオから構成される大規模なマルチモーダル百科事典であるKuaipediaを提案します。
中国で。
まず、複数のソースからアイテムを収集し、何百万ものユーザーのクエリからユーザー中心の側面をマイニングして、アイテム側面ツリーを構築しました。
次に、ショートビデオをアイテムとアスペクトのペアにリンクし、ショートビデオ百科事典全体を構築する「エンティティリンク」の拡張として、「マルチモーダルアイテムアスペクトリンク」と呼ばれる新しいタスクを提案します。
本質的な評価は、私たちの百科事典が大規模かつ非常に正確であることを示しています。
また、Kuaipedia がエンティティ タイピングやエンティティ リンクなどの基本的なアプリケーションにどのように役立つかを示すために、十分な外部実験も実施します。

要約(オリジナル)

Online encyclopedias, such as Wikipedia, have been well-developed and researched in the last two decades. One can find any attributes or other information of a wiki item on a wiki page edited by a community of volunteers. However, the traditional text, images and tables can hardly express some aspects of an wiki item. For example, when we talk about “Shiba Inu”, one may care more about “How to feed it” or “How to train it not to protect its food”. Currently, short-video platforms have become a hallmark in the online world. Whether you’re on TikTok, Instagram, Kuaishou, or YouTube Shorts, short-video apps have changed how we consume and create content today. Except for producing short videos for entertainment, we can find more and more authors sharing insightful knowledge widely across all walks of life. These short videos, which we call knowledge videos, can easily express any aspects (e.g. hair or how-to-feed) consumers want to know about an item (e.g. Shiba Inu), and they can be systematically analyzed and organized like an online encyclopedia. In this paper, we propose Kuaipedia, a large-scale multi-modal encyclopedia consisting of items, aspects, and short videos lined to them, which was extracted from billions of videos of Kuaishou (Kwai), a well-known short-video platform in China. We first collected items from multiple sources and mined user-centered aspects from millions of users’ queries to build an item-aspect tree. Then we propose a new task called “multi-modal item-aspect linking” as an expansion of “entity linking” to link short videos into item-aspect pairs and build the whole short-video encyclopedia. Intrinsic evaluations show that our encyclopedia is of large scale and highly accurate. We also conduct sufficient extrinsic experiments to show how Kuaipedia can help fundamental applications such as entity typing and entity linking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google