RoRA-VLM: Robust Retrieval-Augmented Vision Language Models

投稿日: 2024年10月14日 作成者: jarxiv

要約

現在の視覚言語モデル (VLM) は、主に視覚オブジェクトとシーンの間のすべての関連付けを、対応するエンティティと背景知識に正確にエンコードするという課題により、知識集約型タスクでは依然としてパフォーマンスが劣っています。
検索拡張手法は外部の知識を統合する効率的な方法を提供しますが、それを視覚言語領域に拡張すると、(1) マルチモーダル クエリ内に固有の不一致があるため、外部ソースから関連情報を正確に取得すること、(2) 回復力があることという点で独特の課題が生じます。
取得されたマルチモーダルな知識の断片に含まれる、無関係で無関係でノイズの多い情報に影響を与えます。
この研究では、VLM 向けに特別に調整された斬新で堅牢な検索拡張フレームワークである RORA-VLM を紹介します。このフレームワークには、次の 2 つの重要な革新があります。 (1) 画像アンカー付きテキストクエリ拡張による 2 段階の検索プロセスにより、視覚的クエリと視覚的クエリを相乗的に組み合わせることができます。
クエリ内のテキスト情報を検索し、最も関連性の高いマルチモーダルなナレッジ スニペットを取得します。
(2) 検索拡張トレーニングプロセスに敵対的なノイズを注入することで、取得されたマルチモーダル知識内の無関係な情報に対する VLM の復元力を強化し、画像内に表示される無関係なエンティティなどの無関係な視覚情報をフィルタリングする、堅牢な検索拡張方法。
クエリ指向の視覚的なトークン改良戦略を介して。
私たちは、広く採用されている 3 つのベンチマーク データセットに対して、提案した手法の有効性と堅牢性を検証するために広範な実験を実施しています。
私たちの結果は、RORA-VLM により、最小限のトレーニング インスタンスで基本モデルのパフォーマンスが大幅に向上し、すべてのベンチマークで常に最新の検索拡張 VLM を上回るパフォーマンスを実現できると同時に、新しいゼロショット ドメインを示していることを示しています。
転送能力。

要約(オリジナル)

Current vision-language models (VLMs) still exhibit inferior performance on knowledge-intensive tasks, primarily due to the challenge of accurately encoding all the associations between visual objects and scenes to their corresponding entities and background knowledge. While retrieval augmentation methods offer an efficient way to integrate external knowledge, extending them to vision-language domain presents unique challenges in (1) precisely retrieving relevant information from external sources due to the inherent discrepancy within the multimodal queries, and (2) being resilient to the irrelevant, extraneous and noisy information contained in the retrieved multimodal knowledge snippets. In this work, we introduce RORA-VLM, a novel and robust retrieval augmentation framework specifically tailored for VLMs, with two key innovations: (1) a 2-stage retrieval process with image-anchored textual-query expansion to synergistically combine the visual and textual information in the query and retrieve the most relevant multimodal knowledge snippets; and (2) a robust retrieval augmentation method that strengthens the resilience of VLMs against irrelevant information in the retrieved multimodal knowledge by injecting adversarial noises into the retrieval-augmented training process, and filters out extraneous visual information, such as unrelated entities presented in images, via a query-oriented visual token refinement strategy. We conduct extensive experiments to validate the effectiveness and robustness of our proposed methods on three widely adopted benchmark datasets. Our results demonstrate that with a minimal amount of training instance, RORA-VLM enables the base model to achieve significant performance improvement and constantly outperform state-of-the-art retrieval-augmented VLMs on all benchmarks while also exhibiting a novel zero-shot domain transfer capability.

arxiv情報

著者 Jingyuan Qi,Zhiyang Xu,Rulin Shao,Yang Chen,Jing Di,Yu Cheng,Qifan Wang,Lifu Huang
発行日 2024-10-11 14:51:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | RoRA-VLM: Robust Retrieval-Augmented Vision Language Models はコメントを受け付けていません

Do Large Language Models have Shared Weaknesses in Medical Question Answering?

投稿日: 2024年10月14日 作成者: jarxiv

要約

大規模言語モデル (LLM) は医療ベンチマークを急速に改善しましたが、その信頼性の低さは、現実世界で安全に使用する上で依然として課題となっています。
特定のモデルではなく、カテゴリとして LLM を使用できるように設計するには、モデル全体に​​現れる共通の長所と短所を理解する必要があります。
この課題に対処するために、さまざまな上位 LLM のベンチマークを実施し、モデル全体で一貫したパターンを特定します。
私たちは、ポーランドの医師免許試験から新たに収集された $874 の質問に対して $16$ の有名な LLM をテストします。
各質問について、トップ 1 の精度と割り当てられた確率の分布に基づいて各モデルをスコア付けします。
次に、これらの結果を、人間にとっての質問の難易度、質問の長さ、他のモデルのスコアなどの要素と比較します。
LLM の精度はペアごとに正の相関がありました ($0.39$ ～ $0.58$)。
モデルのパフォーマンスは人間のパフォーマンスとも相関していましたが ($0.09$ ～ $0.13$)、最高得点の人間と最低得点の人間の質問レベルの精度の差とは負の相関がありました ($-0.09$ ～ $-0.14$)。
上位の出力確率と質問の長さは、それぞれ精度の正と負の予測因子でした (p$< 0.05$)。 最高得点の LLM である GPT-4o Turbo は $84\%$ を獲得し、Claude Opus、Gemini 1.5 Pro、および Llama 3/3.1 は $74\%$ から $79\%$ の間でした。 私たちは、人間の受験者との類似点だけでなく、質問に正しく答えるモデル間の類似点の証拠を発見しました。 通常、モデルが大きいほどパフォーマンスが向上しますが、トレーニング、アーキテクチャ、データの違いも大きな影響を与えます。 モデルの精度は信頼度と正の相関がありましたが、質問の長さとは負の相関がありました。 私たちは古いモデルでも同様の結果を発見し、同様のトレーニング方法を使用する将来のモデルでもこれらのパターンが持続する可能性が高いと主張しています。

要約(オリジナル)

Large language models (LLMs) have made rapid improvement on medical benchmarks, but their unreliability remains a persistent challenge for safe real-world uses. To design for the use LLMs as a category, rather than for specific models, requires developing an understanding of shared strengths and weaknesses which appear across models. To address this challenge, we benchmark a range of top LLMs and identify consistent patterns across models. We test $16$ well-known LLMs on $874$ newly collected questions from Polish medical licensing exams. For each question, we score each model on the top-1 accuracy and the distribution of probabilities assigned. We then compare these results with factors such as question difficulty for humans, question length, and the scores of the other models. LLM accuracies were positively correlated pairwise ($0.39$ to $0.58$). Model performance was also correlated with human performance ($0.09$ to $0.13$), but negatively correlated to the difference between the question-level accuracy of top-scoring and bottom-scoring humans ($-0.09$ to $-0.14$). The top output probability and question length were positive and negative predictors of accuracy respectively (p$< 0.05$). The top scoring LLM, GPT-4o Turbo, scored $84\%$, with Claude Opus, Gemini 1.5 Pro and Llama 3/3.1 between $74\%$ and $79\%$. We found evidence of similarities between models in which questions they answer correctly, as well as similarities with human test takers. Larger models typically performed better, but differences in training, architecture, and data were also highly impactful. Model accuracy was positively correlated with confidence, but negatively correlated with question length. We find similar results with older models, and argue that these patterns are likely to persist across future models using similar training methods.

arxiv情報

著者 Andrew M. Bean,Karolina Korgul,Felix Krones,Robert McCraith,Adam Mahdi
発行日 2024-10-11 14:55:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Do Large Language Models have Shared Weaknesses in Medical Question Answering? はコメントを受け付けていません

Lifelong Event Detection via Optimal Transport

投稿日: 2024年10月14日 作成者: jarxiv

要約

継続的イベント検出 (CED) は、新しいタスク (新たに登場するイベント タイプ) を学習すると、以前のタスクのパフォーマンスが妨げられるという壊滅的な忘却現象により、手ごわい課題を引き起こします。
このペーパーでは、最適トランスポート原理を利用して分類モジュールの最適化を、事前トレーニング済みの言語モデリングで定義されている各クラスの本質的な性質に合わせて調整する新しいアプローチである、最適トランスポートによる生涯イベント検出 (LEDOT) を紹介します。
。
私たちの手法は、リプレイ セット、プロトタイプの潜在表現、革新的な最適トランスポート コンポーネントを統合しています。
MAVEN および ACE データセットに対する広範な実験により、LEDOT の優れたパフォーマンスが実証され、常に最先端のベースラインを上回っています。
この結果は、LEDOT が継続的なイベント検出における先駆的なソリューションであり、進化する環境における壊滅的な物忘れに対処するためのより効果的かつ微妙なアプローチを提供することを強調しています。

要約(オリジナル)

Continual Event Detection (CED) poses a formidable challenge due to the catastrophic forgetting phenomenon, where learning new tasks (with new coming event types) hampers performance on previous ones. In this paper, we introduce a novel approach, Lifelong Event Detection via Optimal Transport (LEDOT), that leverages optimal transport principles to align the optimization of our classification module with the intrinsic nature of each class, as defined by their pre-trained language modeling. Our method integrates replay sets, prototype latent representations, and an innovative Optimal Transport component. Extensive experiments on MAVEN and ACE datasets demonstrate LEDOT’s superior performance, consistently outperforming state-of-the-art baselines. The results underscore LEDOT as a pioneering solution in continual event detection, offering a more effective and nuanced approach to addressing catastrophic forgetting in evolving environments.

arxiv情報

著者 Viet Dao,Van-Cuong Pham,Quyen Tran,Thanh-Thien Le,Linh Ngo Van,Thien Huu Nguyen
発行日 2024-10-11 15:26:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Lifelong Event Detection via Optimal Transport はコメントを受け付けていません

Revisiting Hierarchical Text Classification: Inference and Metrics

投稿日: 2024年10月14日 作成者: jarxiv

要約

階層テキスト分類 (HTC) は、階層として編成された構造化スペース内のテキストにラベルを割り当てるタスクです。
最近の研究では、HTC を従来のマルチラベル分類問題として扱い、そのように評価しています。
代わりに、特別に設計された階層メトリクスに基づいてモデルを評価することを提案し、メトリクスの選択と予測推論方法の複雑さを実証します。
私たちは、新しい挑戦的なデータセットを導入し、新しい理論的に動機付けられた損失を含む、一連のシンプルだが強力なベースラインと比較して、最新の洗練されたモデルを公正に評価します。
最後に、これらのベースラインが最新モデルと競合することが非常に多いことを示します。
これは、HTC に新しい手法を提案する際に、評価手法を慎重に検討することの重要性を強調しています。
コードの実装とデータセットは \url{https://github.com/RomanPlaud/revisitingHTC} で入手できます。

要約(オリジナル)

Hierarchical text classification (HTC) is the task of assigning labels to a text within a structured space organized as a hierarchy. Recent works treat HTC as a conventional multilabel classification problem, therefore evaluating it as such. We instead propose to evaluate models based on specifically designed hierarchical metrics and we demonstrate the intricacy of metric choice and prediction inference method. We introduce a new challenging dataset and we evaluate fairly, recent sophisticated models, comparing them with a range of simple but strong baselines, including a new theoretically motivated loss. Finally, we show that those baselines are very often competitive with the latest models. This highlights the importance of carefully considering the evaluation methodology when proposing new methods for HTC. Code implementation and dataset are available at \url{https://github.com/RomanPlaud/revisitingHTC}.

arxiv情報

著者 Roman Plaud,Matthieu Labeau,Antoine Saillenfest,Thomas Bonald
発行日 2024-10-11 15:44:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Revisiting Hierarchical Text Classification: Inference and Metrics はコメントを受け付けていません

AutoPersuade: A Framework for Evaluating and Explaining Persuasive Arguments

投稿日: 2024年10月14日 作成者: jarxiv

要約

説得力のあるメッセージを構築するための 3 つの部分からなるフレームワークである AutoPersuade を紹介します。
まず、人間による評価を含む議論の大規模なデータセットを厳選します。
次に、説得力に影響を与える議論の特徴を特定するための新しいトピック モデルを開発します。
最後に、このモデルを使用して新しい議論の有効性を予測し、説明を提供するためにさまざまなコンポーネントの因果的影響を評価します。
私たちは、ビーガニズムの議論に関する実験的研究を通じて AutoPersuade を検証し、人間の研究とサンプル外の予測でその有効性を実証します。

要約(オリジナル)

We introduce AutoPersuade, a three-part framework for constructing persuasive messages. First, we curate a large dataset of arguments with human evaluations. Next, we develop a novel topic model to identify argument features that influence persuasiveness. Finally, we use this model to predict the effectiveness of new arguments and assess the causal impact of different components to provide explanations. We validate AutoPersuade through an experimental study on arguments for veganism, demonstrating its effectiveness with human studies and out-of-sample predictions.

arxiv情報

著者 Till Raphael Saenger,Musashi Hinck,Justin Grimmer,Brandon M. Stewart
発行日 2024-10-11 15:46:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | AutoPersuade: A Framework for Evaluating and Explaining Persuasive Arguments はコメントを受け付けていません

NeLLCom-X: A Comprehensive Neural-Agent Framework to Simulate Language Learning and Group Communication

投稿日: 2024年10月14日 作成者: jarxiv

要約

計算言語学の最近の進歩には、ランダムなシンボルのセットから開始して、相互作用するニューラル ネットワーク エージェントを使用して人間に似た言語の出現をシミュレートすることが含まれます。
最近導入された NeLLCom フレームワーク (Lian et al., 2023) では、特定の言語特性の出現を研究することを目的として、エージェントが最初に人工言語を学習し、次にそれを使用してコミュニケーションを行うことができます。
我々は、言語学習能力、コミュニケーションプレッシャー、グループサイズ効果の間の相互作用を調査するために、より現実的な役割交代エージェントとグループコミュニケーションを導入することで、このフレームワーク（NeLLCom-X）を拡張しました。
私たちは、語順と格マーキングのトレードオフの出現をシミュレートする先行研究からの重要な発見を再現することによって、NeLLCom-X を検証します。
次に、相互作用が言語の収束とトレードオフの出現にどのような影響を与えるかを調査します。
新しいフレームワークは、言語進化における相互作用とグループダイナミクスの重要性を強調し、多様な言語的側面の将来のシミュレーションを容易にします。

要約(オリジナル)

Recent advances in computational linguistics include simulating the emergence of human-like languages with interacting neural network agents, starting from sets of random symbols. The recently introduced NeLLCom framework (Lian et al., 2023) allows agents to first learn an artificial language and then use it to communicate, with the aim of studying the emergence of specific linguistics properties. We extend this framework (NeLLCom-X) by introducing more realistic role-alternating agents and group communication in order to investigate the interplay between language learnability, communication pressures, and group size effects. We validate NeLLCom-X by replicating key findings from prior research simulating the emergence of a word-order/case-marking trade-off. Next, we investigate how interaction affects linguistic convergence and emergence of the trade-off. The novel framework facilitates future simulations of diverse linguistic aspects, emphasizing the importance of interaction and group dynamics in language evolution.

arxiv情報

著者 Yuchen Lian,Tessa Verhoef,Arianna Bisazza
発行日 2024-10-11 16:13:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | NeLLCom-X: A Comprehensive Neural-Agent Framework to Simulate Language Learning and Group Communication はコメントを受け付けていません

Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs

投稿日: 2024年10月14日 作成者: jarxiv

要約

LLM はテキストを単語に大まかに対応するトークンのシーケンスとして処理します。一般的ではない単語は複数のトークンで表されます。
ただし、個々のトークンは、それらが構成する単語や概念の意味とは意味的に無関係であることがよくあります。
たとえば、Llama-2-7b のトークナイザーは、単語「northeastern」をトークン [‘_n’、’ort’、’he’、’astern’] に分割しますが、いずれも ‘north’ や ‘ のような意味的に意味のある単位には対応しません。
東。’
同様に、「ニール・ヤング」のような名前付きエンティティや「足を骨折する」のような複数の単語の表現の全体的な意味は、それらを構成するトークンから直接推測することはできません。
機構的には、LLM はどのようにしてそのような任意のトークンのグループを有用な高レベルの表現に変換するのでしょうか?
この研究では、名前付きエンティティとマルチトークン単語の最後のトークン表現が顕著な「消去」効果を示し、以前と現在のトークンに関する情報が初期層で急速に忘れられることがわかりました。
この観察を利用して、層間のトークン表現の違いを調べることによって自己回帰 LLM の暗黙の語彙を「読み出す」方法を提案し、Llama-2-7b と Llama-3-8B に対するこの方法の結果を示します。
私たちの知る限り、これは LLM の暗黙の語彙を調査する最初の試みです。

要約(オリジナル)

LLMs process text as sequences of tokens that roughly correspond to words, where less common words are represented by multiple tokens. However, individual tokens are often semantically unrelated to the meanings of the words/concepts they comprise. For example, Llama-2-7b’s tokenizer splits the word ‘northeastern’ into the tokens [‘_n’, ‘ort’, ‘he’, ‘astern’], none of which correspond to semantically meaningful units like ‘north’ or ‘east.’ Similarly, the overall meanings of named entities like ‘Neil Young’ and multi-word expressions like ‘break a leg’ cannot be directly inferred from their constituent tokens. Mechanistically, how do LLMs convert such arbitrary groups of tokens into useful higher-level representations? In this work, we find that last token representations of named entities and multi-token words exhibit a pronounced ‘erasure’ effect, where information about previous and current tokens is rapidly forgotten in early layers. Using this observation, we propose a method to ‘read out’ the implicit vocabulary of an autoregressive LLM by examining differences in token representations across layers, and present results of this method for Llama-2-7b and Llama-3-8B. To our knowledge, this is the first attempt to probe the implicit vocabulary of an LLM.

arxiv情報

著者 Sheridan Feucht,David Atkinson,Byron Wallace,David Bau
発行日 2024-10-11 16:20:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG, I.2.7 | Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs はコメントを受け付けていません

Extra Global Attention Designation Using Keyword Detection in Sparse Transformer Architectures

投稿日: 2024年10月14日 作成者: jarxiv

要約

この論文では、一般的なスパース トランスフォーマー アーキテクチャである Longformer Encoder-Decoder の拡張を提案します。
スパース トランスフォーマーに共通する課題の 1 つは、文書の最初と最後で説明されているトピック間の接続など、長距離のコンテキストのエンコードに苦労する可能性があることです。
グローバルな注目を選択的に高める方法が、いくつかのベンチマーク データ セットに対する抽象的な要約タスクに対して提案され、実証されています。
トランスクリプトに追加のキーワードを接頭辞として付け、これらのキーワードに対する世界的な注目をエンコードすることにより、一部のベンチマーク データ セットでゼロ ショット、少数ショット、および微調整されたケースの改善が実証されています。

要約(オリジナル)

In this paper, we propose an extension to Longformer Encoder-Decoder, a popular sparse transformer architecture. One common challenge with sparse transformers is that they can struggle with encoding of long range context, such as connections between topics discussed at a beginning and end of a document. A method to selectively increase global attention is proposed and demonstrated for abstractive summarization tasks on several benchmark data sets. By prefixing the transcript with additional keywords and encoding global attention on these keywords, improvement in zero-shot, few-shot, and fine-tuned cases is demonstrated for some benchmark data sets.

arxiv情報

著者 Evan Lucas,Dylan Kangas,Timothy C Havens
発行日 2024-10-11 16:41:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Extra Global Attention Designation Using Keyword Detection in Sparse Transformer Architectures はコメントを受け付けていません

UniGlyph: A Seven-Segment Script for Universal Language Representation

投稿日: 2024年10月14日 作成者: jarxiv

要約

UniGlyph は、7 セグメント文字から派生したスクリプトを使用してユニバーサル音訳システムを作成するように設計された構築言語 (conlang) です。
UniGlyph の目標は、幅広い音声を表現できる柔軟で一貫性のあるスクリプトを提供することで、言語を超えたコミュニケーションを促進することです。
このペーパーでは、UniGlyph の設計を検討し、そのスクリプト構造、音声マッピング、および音訳ルールを詳しく説明します。
このシステムは、言語間で音声の多様性を表現するためのコンパクトで汎用性の高い方法を提供することで、国際音声アルファベット (IPA) と従来の文字セットの不完全性に対処します。
UniGlyph は、ピッチと長さのマーカーを使用して、小さな文字セットを維持しながら正確な音声表現を保証します。
UniGlyph のアプリケーションには、自然言語処理や多言語音声認識などの人工知能の統合が含まれており、異なる言語間でのコミュニケーションを強化します。
動物の音声の追加など、将来の拡張について議論されています。これには、さまざまな種に固有の文字が割り当てられ、UniGlyph の範囲が人間のコミュニケーションを超えて拡大されます。
この研究では、このような汎用文字の開発における課題と解決策を示し、言語を超えたコミュニケーション、教育音声学、AI 駆動型アプリケーションにおける言語ギャップを埋める UniGlyph の可能性を示しています。

要約(オリジナル)

UniGlyph is a constructed language (conlang) designed to create a universal transliteration system using a script derived from seven-segment characters. The goal of UniGlyph is to facilitate cross-language communication by offering a flexible and consistent script that can represent a wide range of phonetic sounds. This paper explores the design of UniGlyph, detailing its script structure, phonetic mapping, and transliteration rules. The system addresses imperfections in the International Phonetic Alphabet (IPA) and traditional character sets by providing a compact, versatile method to represent phonetic diversity across languages. With pitch and length markers, UniGlyph ensures accurate phonetic representation while maintaining a small character set. Applications of UniGlyph include artificial intelligence integrations, such as natural language processing and multilingual speech recognition, enhancing communication across different languages. Future expansions are discussed, including the addition of animal phonetic sounds, where unique scripts are assigned to different species, broadening the scope of UniGlyph beyond human communication. This study presents the challenges and solutions in developing such a universal script, demonstrating the potential of UniGlyph to bridge linguistic gaps in cross-language communication, educational phonetics, and AI-driven applications.

arxiv情報

著者 G. V. Bency Sherin,A. Abijesh Euphrine,A. Lenora Moreen,L. Arun Jose
発行日 2024-10-11 16:46:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T01, 68T50, cs.CL, cs.HC, cs.SC, cs.SD, eess.AS, H.5.2 | UniGlyph: A Seven-Segment Script for Universal Language Representation はコメントを受け付けていません

Science is Exploration: Computational Frontiers for Conceptual Metaphor Theory

投稿日: 2024年10月14日 作成者: jarxiv

要約

比喩はどこにでもあります。
それらは、最も洗練された詩から一見無味乾燥な学術散文に至るまで、自然言語のあらゆる領域に広く現れます。
言語の認知科学における重要な研究は、概念的な比喩、つまり、ある経験領域を別の言語で体系的に構造化することの存在を主張しています。
概念的な比喩は単なる修辞的な誇張ではなく、人間の認識における類推の役割を示す重要な証拠です。
この論文では、大規模言語モデル (LLM) が自然言語データ内のそのような概念的メタファーの存在を正確に識別して説明できるかどうかを問います。
メタファー注釈ガイドラインに基づいた新しいプロンプト手法を使用して、LLM が概念的メタファーに関する大規模な計算研究に有望なツールであることを実証します。
さらに、LLM がヒューマン・アノテーター向けに設計された手順ガイドラインを適用でき、驚くほど深い言語知識を示していることを示します。

要約(オリジナル)

Metaphors are everywhere. They appear extensively across all domains of natural language, from the most sophisticated poetry to seemingly dry academic prose. A significant body of research in the cognitive science of language argues for the existence of conceptual metaphors, the systematic structuring of one domain of experience in the language of another. Conceptual metaphors are not simply rhetorical flourishes but are crucial evidence of the role of analogical reasoning in human cognition. In this paper, we ask whether Large Language Models (LLMs) can accurately identify and explain the presence of such conceptual metaphors in natural language data. Using a novel prompting technique based on metaphor annotation guidelines, we demonstrate that LLMs are a promising tool for large-scale computational research on conceptual metaphors. Further, we show that LLMs are able to apply procedural guidelines designed for human annotators, displaying a surprising depth of linguistic knowledge.

arxiv情報

著者 Rebecca M. M. Hicke,Ross Deans Kristensen-McLachlan
発行日 2024-10-11 17:03:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Science is Exploration: Computational Frontiers for Conceptual Metaphor Theory はコメントを受け付けていません