PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention

投稿日: 2025年3月6日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、長いコンテキストを処理する際の注意メカニズムの二次複雑さのために、効率のボトルネックに直面します。
まばらな注意方法は有望なソリューションを提供しますが、既存のアプローチはしばしば不完全な効果的なコンテキストに悩まされ、および/またはパイプラインの複雑な実装が必要です。
受容フィールドのそれぞれからの自己回帰LLMのまばらな注意の包括的な分析を提示し、受容フィールドを拡張するための既存の方法の最適ではない性質を認識し、理論分析を通じて効果的かつ完全なコンテキスト拡張を促進する新しいまばらな注意設計であるPowerAttentionを導入します。
PowerAttentionは、$ D $ -LAYER LLMSの指数受容フィールドの成長を達成し、各出力トークンが$ 2^d $トークンに参加できるようになり、受容フィールドの完全性と継続性が確保されます。
実験は、PowerAttentionが既存の静的スパース注意方法を5ドルで$ 5 \ SIM 40 \％$で上回ることを示しています。特に、パスキー検索や定規などの長距離依存関係を要求するタスクで、スライドウィンドウの注意に匹敵する時間の複雑さを維持します。
効率評価は、動的なスパースの注意と完全な注意（128Kコンテキストで$ 3.0 \ Times $速い）と比較して、POWERATTENTIONの充電フェーズとデコードフェーズの両方で優れたスピードアップを強調し、LLMSで長いシーケンスを処理するための非常に効果的でユーザーフレンドリーなソリューションになります。

要約(オリジナル)

Large Language Models (LLMs) face efficiency bottlenecks due to the quadratic complexity of the attention mechanism when processing long contexts. Sparse attention methods offer a promising solution, but existing approaches often suffer from incomplete effective context and/or require complex implementation of pipeline. We present a comprehensive analysis of sparse attention for autoregressive LLMs from the respective of receptive field, recognize the suboptimal nature of existing methods for expanding the receptive field, and introduce PowerAttention, a novel sparse attention design that facilitates effective and complete context extension through the theoretical analysis. PowerAttention achieves exponential receptive field growth in $d$-layer LLMs, allowing each output token to attend to $2^d$ tokens, ensuring completeness and continuity of the receptive field. Experiments demonstrate that PowerAttention outperforms existing static sparse attention methods by $5\sim 40\%$, especially on tasks demanding long-range dependencies like Passkey Retrieval and RULER, while maintaining a comparable time complexity to sliding window attention. Efficiency evaluations further highlight PowerAttention’s superior speedup in both prefilling and decoding phases compared with dynamic sparse attentions and full attention ($3.0\times$ faster on 128K context), making it a highly effective and user-friendly solution for processing long sequences in LLMs.

arxiv情報

著者 Lida Chen,Dong Xu,Chenxin An,Xintao Wang,Yikai Zhang,Jiangjie Chen,Zujie Liang,Feng Wei,Jiaqing Liang,Yanghua Xiao,Wei Wang
発行日 2025-03-05 15:24:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention はコメントを受け付けていません

Protecting multimodal large language models against misleading visualizations

投稿日: 2025年3月6日 作成者: jarxiv

要約

マルチモーダルの大手言語モデルの脆弱性を評価して、誤解を招く視覚化 – 切り捨てられた軸や反転軸などの手法を使用して基礎となるデータを歪め、読者が誤った情報や陰謀の理論をサポートする可能性のある不正確な結論を引き出すように導きます。
私たちの分析は、これらの歪みがマルチモーダルの大手言語モデルにひどく害を及ぼし、疑問の精度をランダムベースラインのレベルに低下させることを示しています。
この脆弱性を緩和するために、6つの推論時間方法を導入して、誤解を招く視覚化に対するMLLMのパフォーマンスを改善しながら、非誤ったものの精度を維持します。
最も効果的なアプローチには、（1）基礎となるデータテーブルの抽出と（2）テキストのみの大規模な言語モデルを使用して、テーブルに基づいて質問に答えることが含まれます。
この方法は、誤解を招く視覚化のパフォーマンスを15.4〜19.6パーセントポイント改善します。

要約(オリジナル)

We assess the vulnerability of multimodal large language models to misleading visualizations – charts that distort the underlying data using techniques such as truncated or inverted axes, leading readers to draw inaccurate conclusions that may support misinformation or conspiracy theories. Our analysis shows that these distortions severely harm multimodal large language models, reducing their question-answering accuracy to the level of the random baseline. To mitigate this vulnerability, we introduce six inference-time methods to improve performance of MLLMs on misleading visualizations while preserving their accuracy on non-misleading ones. The most effective approach involves (1) extracting the underlying data table and (2) using a text-only large language model to answer questions based on the table. This method improves performance on misleading visualizations by 15.4 to 19.6 percentage points.

arxiv情報

著者 Jonathan Tonglet,Tinne Tuytelaars,Marie-Francine Moens,Iryna Gurevych
発行日 2025-03-05 15:26:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Protecting multimodal large language models against misleading visualizations はコメントを受け付けていません

Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders

投稿日: 2025年3月6日 作成者: jarxiv

要約

高度な大手言語モデル（LLMS）の台頭により、人工テキスト検出（ATD）がますます重要になっています。
多くの努力にもかかわらず、異なるタイプの目に見えないテキストで一貫してうまく機能する単一のアルゴリズムはありません。また、新しいLLMへの効果的な一般化を保証します。
解釈性は、この目標を達成する上で重要な役割を果たします。
この研究では、Sparse Autoencoders（SAE）を使用してGemma-2-2Bの残留ストリームから特徴を抽出することにより、ATDの解釈性を向上させます。
解釈可能な機能と効率的な機能の両方を特定し、ドメインおよびモデル固有の統計、ステアリングアプローチ、および手動またはLLMベースの解釈を介したセマンティクスと関連性を分析します。
私たちの方法は、さまざまなモデルからのテキストが人間が作成したコンテンツとどのように異なるかについての貴重な洞察を提供します。
モダンLLMは、特に情報密度の高いドメインでは、個別のプロンプトを使用して人間のような出力を生成できるにもかかわらず、明確なライティングスタイルを持っていることを示しています。

要約(オリジナル)

Artificial Text Detection (ATD) is becoming increasingly important with the rise of advanced Large Language Models (LLMs). Despite numerous efforts, no single algorithm performs consistently well across different types of unseen text or guarantees effective generalization to new LLMs. Interpretability plays a crucial role in achieving this goal. In this study, we enhance ATD interpretability by using Sparse Autoencoders (SAE) to extract features from Gemma-2-2b residual stream. We identify both interpretable and efficient features, analyzing their semantics and relevance through domain- and model-specific statistics, a steering approach, and manual or LLM-based interpretation. Our methods offer valuable insights into how texts from various models differ from human-written content. We show that modern LLMs have a distinct writing style, especially in information-dense domains, even though they can produce human-like outputs with personalized prompts.

arxiv情報

著者 Kristian Kuznetsov,Laida Kushnareva,Polina Druzhinina,Anton Razzhigaev,Anastasia Voznyuk,Irina Piontkovskaya,Evgeny Burnaev,Serguei Barannikov
発行日 2025-03-05 15:33:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders はコメントを受け付けていません

Psy-Insight: Explainable Multi-turn Bilingual Dataset for Mental Health Counseling

投稿日: 2025年3月6日 作成者: jarxiv

要約

大規模な言語モデル（LLM）のコンテキスト内学習機能は、メンタルヘルスサポートに大きな可能性を示しています。
ただし、特に中国のコーパスでのカウンセリングデータセットの欠如は、この分野でのアプリケーションを制限しています。
これに対処するために、最初のメンタルヘルス指向の説明可能なマルチタスクバイリンガルデータセットであるPSY-Insightを構築しました。
マルチタスクラベルと会話プロセスの説明が注釈が付けられた対面のマルチターンカウンセリングの対話を収集しました。
注釈には、心理療法、感情、戦略、トピックラベル、ターンレベルの推論とセッションレベルのガイダンスが含まれます。
Psy-Insightは、ラベル認識などのタスクに適しているだけでなく、LLMが論理的推論を通じて共感的カウンセラーとして行動する必要性を満たしています。
実験では、PSY-InsightでのLLMSトレーニングにより、モデルは会話スタイルを模倣するだけでなく、カウンセリングの根底にある戦略と推論を理解できることが示されています。

要約(オリジナル)

The in-context learning capabilities of large language models (LLMs) show great potential in mental health support. However, the lack of counseling datasets, particularly in Chinese corpora, restricts their application in this field. To address this, we constructed Psy-Insight, the first mental health-oriented explainable multi-task bilingual dataset. We collected face-to-face multi-turn counseling dialogues, which are annotated with multi-task labels and conversation process explanations. Our annotations include psychotherapy, emotion, strategy, and topic labels, as well as turn-level reasoning and session-level guidance. Psy-Insight is not only suitable for tasks such as label recognition but also meets the need for training LLMs to act as empathetic counselors through logical reasoning. Experiments show that training LLMs on Psy-Insight enables the models to not only mimic the conversation style but also understand the underlying strategies and reasoning of counseling.

arxiv情報

著者 Keqi Chen,Zekai Sun,Yuhua Wen,Huijun Lian,Yingming Gao,Ya Li
発行日 2025-03-05 15:44:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Psy-Insight: Explainable Multi-turn Bilingual Dataset for Mental Health Counseling はコメントを受け付けていません

Prompt-enhanced Network for Hateful Meme Classification

投稿日: 2025年3月6日 作成者: jarxiv

要約

ソーシャルメディアの動的な拡大により、メディアプラットフォームで憎むべきミームが浸水し、効率的な識別と除去の必要性が高まっています。
外部の知識に大きく依存し、無関係または冗長コンテンツを含めるリスクをもたらす従来のマルチモーダル憎悪のミーム分類の制約を認識して、迅速な学習アプローチに基づいた迅速なネットワークフレームワークであるPENを開発しました。
具体的には、迅速な方法を介してシーケンスを構築し、言語モデルでエンコードした後、マルチビュー知覚のためにエンコードされたシーケンスでリージョン情報グローバル抽出を実行しました。
推論のインスタンスとデモンストレーションに関するグローバルな情報をキャプチャすることにより、ペンはシーケンス情報を完全に活用することにより、カテゴリの選択を容易にします。
このアプローチは、モデルの分類精度を大幅に向上させます。
さらに、特徴空間のモデルの推論機能を強化するために、サンプル特徴分布の品質を改善するために、フレームワークに迅速な対照学習を導入しました。
2つのパブリックデータセットでの広範なアブレーション実験により、PENフレームワークの有効性を評価し、最先端のモデルベースラインと同時に比較します。
私たちの調査結果は、ペンが手動の迅速な方法を上回り、憎むべきミーム分類タスクにおける優れた一般化と分類の精度を紹介することを強調しています。
私たちのコードは、https：//github.com/juszzi/penで入手できます。

要約(オリジナル)

The dynamic expansion of social media has led to an inundation of hateful memes on media platforms, accentuating the growing need for efficient identification and removal. Acknowledging the constraints of conventional multimodal hateful meme classification, which heavily depends on external knowledge and poses the risk of including irrelevant or redundant content, we developed Pen — a prompt-enhanced network framework based on the prompt learning approach. Specifically, after constructing the sequence through the prompt method and encoding it with a language model, we performed region information global extraction on the encoded sequence for multi-view perception. By capturing global information about inference instances and demonstrations, Pen facilitates category selection by fully leveraging sequence information. This approach significantly improves model classification accuracy. Additionally, to bolster the model’s reasoning capabilities in the feature space, we introduced prompt-aware contrastive learning into the framework to improve the quality of sample feature distributions. Through extensive ablation experiments on two public datasets, we evaluate the effectiveness of the Pen framework, concurrently comparing it with state-of-the-art model baselines. Our research findings highlight that Pen surpasses manual prompt methods, showcasing superior generalization and classification accuracy in hateful meme classification tasks. Our code is available at https://github.com/juszzi/Pen.

arxiv情報

著者 Junxi Liu,Yanyan Feng,Jiehai Chen,Yun Xue,Fenghuan Li
発行日 2025-03-05 15:52:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Prompt-enhanced Network for Hateful Meme Classification はコメントを受け付けていません

Unveiling Simplicities of Attention: Adaptive Long-Context Head Identification

投稿日: 2025年3月6日 作成者: jarxiv

要約

長いコンテキストを処理する能力は、多くの自然言語処理タスクにとって重要ですが、それは依然として重要な課題です。
注意メカニズムの効率を向上させることには大きな進歩がありましたが、長いコンテキスト設定で注意がどのように機能するかを理解することには依然としてギャップがあります。
このホワイトペーパーでは、特定のヘッドは一貫してローカル情報のみに注意しているが、他の人はクエリに応じてローカルと長期の情報に参加することとの間で揺れ動くことを観察します。
これは疑問を提起します：次のトークンを正確に予測するために、どのヘッドが長いコンテキスト情報を必要とするかを特定できますか？
ローカルキーのみを使用して、どのヘッドが長いコンテキスト処理に重要であるかを予測することが可能であることを実証します。
ここでの核となるアイデアは、2番目のモーメント近似を介して長いコンテキストスコアの単純なモデルを活用することです。
これらの発見は、長いシーケンスのコンテキストでの注意の単純な特性を明らかにし、効率の潜在的に大きな利益への扉を開きます。

要約(オリジナル)

The ability to process long contexts is crucial for many natural language processing tasks, yet it remains a significant challenge. While substantial progress has been made in enhancing the efficiency of attention mechanisms, there is still a gap in understanding how attention heads function in long-context settings. In this paper, we observe that while certain heads consistently attend to local information only, others swing between attending to local and long-context information depending on the query. This raises the question: can we identify which heads require long-context information to predict the next token accurately? We demonstrate that it’s possible to predict which heads are crucial for long-context processing using only local keys. The core idea here is to exploit a simple model for the long-context scores via second moment approximations. These findings unveil simple properties of attention in the context of long sequences, and open the door to potentially significant gains in efficiency.

arxiv情報

著者 Konstantin Donhauser,Charles Arnal,Mohammad Pezeshki,Vivien Cabannes,David Lopez-Paz,Kartik Ahuja
発行日 2025-03-05 16:14:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Unveiling Simplicities of Attention: Adaptive Long-Context Head Identification はコメントを受け付けていません

Psy-Copilot: Visual Chain of Thought for Counseling

投稿日: 2025年3月6日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、心理カウンセリングの分野でますます人気が高まっています。
ただし、人間のセラピストがセラピーセッションでLLMSと協力する場合、モデルがどのように答えを与えるかを理解することは困難です。
これに対処するために、治療セッション中にLLMの思考プロセスを視覚化するように設計されたグラフであるPSY-COTを構築しました。
PSY-COTグラフは、セラピストの推論と洞察を捉える段階的な注釈とともに、半構造化されたカウンセリングの会話を示しています。
さらに、私たちはPsy-Copilotを開発しました。これは、人間の心理療法士が相談を支援するために設計された会話型AIアシスタントです。
回答候補、同様の対話セッション、関連戦略、視覚的な結果を含む検索に基づいて、追跡可能な精神情報を提供できます。
また、AIアシストカウンセリングのためのインタラクティブなプラットフォームを構築しました。
検索サブグラフの関連部分を表示するインターフェイスがあります。
Psy-Copilotは、心理療法士を置き換えるのではなく、AIと人間のセラピストの間の協力を促進するように設計されており、それによってメンタルヘルスの発達を促進します。
私たちのコードとデモはどちらもオープンソースであり、使用可能です。

要約(オリジナル)

Large language models (LLMs) are becoming increasingly popular in the field of psychological counseling. However, when human therapists work with LLMs in therapy sessions, it is hard to understand how the model gives the answers. To address this, we have constructed Psy-COT, a graph designed to visualize the thought processes of LLMs during therapy sessions. The Psy-COT graph presents semi-structured counseling conversations alongside step-by-step annotations that capture the reasoning and insights of therapists. Moreover, we have developed Psy-Copilot, which is a conversational AI assistant designed to assist human psychological therapists in their consultations. It can offer traceable psycho-information based on retrieval, including response candidates, similar dialogue sessions, related strategies, and visual traces of results. We have also built an interactive platform for AI-assisted counseling. It has an interface that displays the relevant parts of the retrieval sub-graph. The Psy-Copilot is designed not to replace psychotherapists but to foster collaboration between AI and human therapists, thereby promoting mental health development. Our code and demo are both open-sourced and available for use.

arxiv情報

著者 Keqi Chen,Zekai Sun,Huijun Lian,Yingming Gao,Ya Li
発行日 2025-03-05 16:23:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Psy-Copilot: Visual Chain of Thought for Counseling はコメントを受け付けていません

Token-Level Privacy in Large Language Models

投稿日: 2025年3月6日 作成者: jarxiv

要約

言語モデルをリモートサービスとして使用するには、個人情報を外部プロバイダーに送信する必要があり、大きなプライバシーの懸念を引き起こします。
このプロセスは、機密データを信頼されていないサービスプロバイダーにさらすリスクがあるだけでなく、盗聴者による傍受に対して脆弱なままになります。
自然言語処理（NLP）の相互作用のための既存のプライバシー普及方法は、主にセマンティックな類似性に依存しており、コンテキスト情報の役割を見下ろしています。
この作業では、DCHIステンシルを紹介します。これは、DCHIの差動プライバシーフレームワークの下で強力なプライバシー保証を確保し、2EPSILON-DCHI-PRIVACYを達成しながら、コンテキストおよびセマンティック情報を統合する新しいトークンレベルのプライバシーを提供するメカニズムです。
セマンティックとコンテキストの両方のニュアンスを組み込むことにより、DCHI-Stencilはプライバシーとユーティリティの間の堅牢なバランスを達成します。
最先端の言語モデルと多様なデータセットを使用してDCHIステンシルを評価し、既存の方法と比較して、ユーティリティとプライバシーの間で同等かつさらに良いトレードオフを達成します。
この作業は、DCHIステンシルが最新のハイリスクアプリケーションでプライバシーを提供するNLPの新しい基準を設定する可能性を強調しています。

要約(オリジナル)

The use of language models as remote services requires transmitting private information to external providers, raising significant privacy concerns. This process not only risks exposing sensitive data to untrusted service providers but also leaves it vulnerable to interception by eavesdroppers. Existing privacy-preserving methods for natural language processing (NLP) interactions primarily rely on semantic similarity, overlooking the role of contextual information. In this work, we introduce dchi-stencil, a novel token-level privacy-preserving mechanism that integrates contextual and semantic information while ensuring strong privacy guarantees under the dchi differential privacy framework, achieving 2epsilon-dchi-privacy. By incorporating both semantic and contextual nuances, dchi-stencil achieves a robust balance between privacy and utility. We evaluate dchi-stencil using state-of-the-art language models and diverse datasets, achieving comparable and even better trade-off between utility and privacy compared to existing methods. This work highlights the potential of dchi-stencil to set a new standard for privacy-preserving NLP in modern, high-risk applications.

arxiv情報

著者 Re’em Harel,Niv Gilboa,Yuval Pinter
発行日 2025-03-05 16:27:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CR | Token-Level Privacy in Large Language Models はコメントを受け付けていません

Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models

投稿日: 2025年3月6日 作成者: jarxiv

要約

自然言語処理の進化分野（NLP）では、テキストの時間的コンテキストを理解することは、高度な時間的推論を必要とするアプリケーションにとってますます重要になっています。
BookCorpusやWikipediaなどの同期ドキュメントコレクションに依存するBertのような従来の事前訓練を受けた言語モデルは、時間情報を効果的にキャプチャして活用するのが不足していることがよくあります。
この制限に対処するために、一時的なニュース記事コレクションで事前に訓練された新しい時間を手に入れた言語モデルであるBitimebert 2.0を紹介します。
Bitimebert 2.0には、3つの革新的なトレーニング前の目標を通じて一時的な情報が組み込まれています：拡張時間に対応するマスク言語モデリング（ETAMLM）、ドキュメントデート（DD）、および時間依存エンティティ交換（TSER）。
各目的は、一時的な情報の明確な次元をターゲットにするように特異的に設計されています。ETAMLMは、一時的なコンテキストと関係のモデルの理解を高め、DDはドキュメントタイムスタンプを明示的な時系列マーカーとして統合し、TSERは「人」エンティティの時間的ダイナミクスに焦点を当てています。
さらに、洗練されたコーパス前処理戦略により、トレーニング時間が53％近く短縮され、Bitimebert 2.0が高性能を維持しながら大幅に効率的になります。
実験結果は、Bitimebert 2.0が幅広い時間関連タスクにわたって大幅な改善を達成し、広範な時間範囲にまたがるデータセットで優れていることを示しています。
これらの調査結果は、NLPで一時的な推論を進めるための強力なツールとして、Bitimebert 2.0の可能性を強調しています。

要約(オリジナル)

In the evolving field of Natural Language Processing (NLP), understanding the temporal context of text is increasingly critical for applications requiring advanced temporal reasoning. Traditional pre-trained language models like BERT, which rely on synchronic document collections such as BookCorpus and Wikipedia, often fall short in effectively capturing and leveraging temporal information. To address this limitation, we introduce BiTimeBERT 2.0, a novel time-aware language model pre-trained on a temporal news article collection. BiTimeBERT 2.0 incorporates temporal information through three innovative pre-training objectives: Extended Time-Aware Masked Language Modeling (ETAMLM), Document Dating (DD), and Time-Sensitive Entity Replacement (TSER). Each objective is specifically designed to target a distinct dimension of temporal information: ETAMLM enhances the model’s understanding of temporal contexts and relations, DD integrates document timestamps as explicit chronological markers, and TSER focuses on the temporal dynamics of ‘Person’ entities. Moreover, our refined corpus preprocessing strategy reduces training time by nearly 53\%, making BiTimeBERT 2.0 significantly more efficient while maintaining high performance. Experimental results show that BiTimeBERT 2.0 achieves substantial improvements across a broad range of time-related tasks and excels on datasets spanning extensive temporal ranges. These findings underscore BiTimeBERT 2.0’s potential as a powerful tool for advancing temporal reasoning in NLP.

arxiv情報

著者 Jiexin Wang,Adam Jatowt,Yi Cai
発行日 2025-03-05 16:27:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models はコメントを受け付けていません

The Noisy Path from Source to Citation: Measuring How Scholars Engage with Past Research

投稿日: 2025年3月6日 作成者: jarxiv

要約

学術的な引用は、研究と知識の流れを追跡するために広く使用されています。
このような使用は通常、生の引用数に依存し、引用タイプの変動性を無視します。
特に、引用された研究からの元の知識が言い換えれ、要約、または再解釈され、おそらく誤って再解釈され、引用された紙から引用紙への情報の変化の変化につながる可能性があるため、引用は忠実に異なる場合があります。
この研究では、計算パイプラインを導入して、規模の引用忠実度を定量化します。
パイプラインは、論文の全文を使用して、引用論文と引用された論文の対応するクレームの引用を特定し、文レベルで忠実度を測定するために監視されたモデルを適用します。
約1300万の引用文のペアの大規模な学際的なデータセットを分析すると、著者が1）より最近、知的に近い論文を引用すると、2）よりアクセスしやすい、3）最初の著者はより低いH-indexと著者チームが中程度であることがわかります。
準実験を使用して、「電話効果」を確立します。引用論文が元の主張に忠実である場合は、引用用紙とオリジナルの引用を引用する将来の論文がオリジナルに対して忠実度が低くなります。
私たちの仕事は、引用の忠実度の体系的な違いを明らかにし、引用量だけに依存する分析の限界と証拠の歪みの可能性を強調しています。

要約(オリジナル)

Academic citations are widely used for evaluating research and tracing knowledge flows. Such uses typically rely on raw citation counts and neglect variability in citation types. In particular, citations can vary in their fidelity as original knowledge from cited studies may be paraphrased, summarized, or reinterpreted, possibly wrongly, leading to variation in how much information changes from cited to citing paper. In this study, we introduce a computational pipeline to quantify citation fidelity at scale. Using full texts of papers, the pipeline identifies citations in citing papers and the corresponding claims in cited papers, and applies supervised models to measure fidelity at the sentence level. Analyzing a large-scale multi-disciplinary dataset of approximately 13 million citation sentence pairs, we find that citation fidelity is higher when authors cite papers that are 1) more recent and intellectually close, 2) more accessible, and 3) the first author has a lower H-index and the author team is medium-sized. Using a quasi-experiment, we establish the ‘telephone effect’ – when citing papers have low fidelity to the original claim, future papers that cite the citing paper and the original have lower fidelity to the original. Our work reveals systematic differences in citation fidelity, underscoring the limitations of analyses that rely on citation quantity alone and the potential for distortion of evidence.

arxiv情報

著者 Hong Chen,Misha Teplitskiy,David Jurgens
発行日 2025-03-05 16:32:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | The Noisy Path from Source to Citation: Measuring How Scholars Engage with Past Research はコメントを受け付けていません