Words are all you need? Language as an approximation for human similarity judgments

要約

人間の類似性判断は、対照学習、情報検索、モデル アライメントなどの手法に基づく機械学習アプリケーションの強力な監視信号ですが、人間の類似性判断を収集するための従来の方法は、大規模に使用するにはコストがかかりすぎます。
最近の方法では、事前トレーニング済みのディープ ニューラル ネットワーク (DNN) を使用して人間の類似性を近似することが提案されていますが、事前トレーニング済みの DNN は特定のドメイン (医療画像、リソースの少ない言語など) では利用できない場合があり、人間の類似性を近似するパフォーマンスはまだ向上していません。
広範囲にテストされています。
画像、音声、動画の 3 つのドメインで 611 の事前トレーニング済みモデルの評価を実施したところ、人間の類似性判断と事前トレーニング済み DNN との間に大きなギャップがあることがわかりました。
このギャップに対処するために、言語に基づいた新しいクラスの類似度近似方法を提案します。
これらの新しい方法で必要な言語データを収集するために、新しい適応タグ収集パイプラインも開発および検証しました。
私たちが提案した言語ベースの方法は、人間の判断の数において、従来の方法よりも大幅に安価ですが、それでも DNN ベースの方法よりもパフォーマンスが向上することがわかりました。
最後に、言語の埋め込みと DNN の埋め込みを組み合わせた「積み重ねられた」方法も開発し、これらが 3 つのモダリティすべてにわたって人間の類似性について一貫して最良の近似を提供することを発見しました。
この包括的な研究の結果に基づいて、人間の類似性データの収集または概算に関心のある研究者向けの簡潔なガイドを提供します。
このガイドに付随して、すべてのモデリング結果の詳細な内訳とともに、実験で収集した合計 206,339 の人間の判断であるすべての類似性および言語データも公開します。

要約(オリジナル)

Human similarity judgments are a powerful supervision signal for machine learning applications based on techniques such as contrastive learning, information retrieval, and model alignment, but classical methods for collecting human similarity judgments are too expensive to be used at scale. Recent methods propose using pre-trained deep neural networks (DNNs) to approximate human similarity, but pre-trained DNNs may not be available for certain domains (e.g., medical images, low-resource languages) and their performance in approximating human similarity has not been extensively tested. We conducted an evaluation of 611 pre-trained models across three domains — images, audio, video — and found that there is a large gap in performance between human similarity judgments and pre-trained DNNs. To address this gap, we propose a new class of similarity approximation methods based on language. To collect the language data required by these new methods, we also developed and validated a novel adaptive tag collection pipeline. We find that our proposed language-based methods are significantly cheaper, in the number of human judgments, than classical methods, but still improve performance over the DNN-based methods. Finally, we also develop `stacked’ methods that combine language embeddings with DNN embeddings, and find that these consistently provide the best approximations for human similarity across all three of our modalities. Based on the results of this comprehensive study, we provide a concise guide for researchers interested in collecting or approximating human similarity data. To accompany this guide, we also release all of the similarity and language data, a total of 206,339 human judgments, that we collected in our experiments, along with a detailed breakdown of all modeling results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google