Beyond True or False: Retrieval-Augmented Hierarchical Analysis of Nuanced Claims

要約

個人または団体によってなされた主張はしばしば微妙であり、科学的および政治的主張の場合に頻繁にそうであるように、完全に「真」または「偽」と明確に分類することはできません。
ただし、クレーム（たとえば、「ワクチンAはワクチンBよりも優れています」）は、個別に検証しやすい、その積分の側面とサブアスペクト（有効性、安全性、分布など）に分析できます。
これにより、特定の問題に関するバランスのとれた視点を提供すると同時に、より包括的な構造化された応答が可能になり、読者がクレーム内で特定の関心のある角度（たとえば、子供に対する安全性）を優先することができます。
したがって、クレームに対処し、コーパス固有の視点でそれらを豊かにするときに通常考慮される側面の階層を自動的に構築するための検索された生成ベースのフレームワークであるクレームスペクトルを提案します。
この構造は、入力コーパスを階層的に分割して、関連するセグメントを取得し、新しいサブアスペクトの発見を支援します。
さらに、これらのセグメントは、主張の側面（サポート、ニュートラル、またはオポスポンシなど）とそれぞれの有病率（例えば、ワクチンAがBよりも輸送可能であると信じている」）に向けてさまざまな視点の発見を可能にします。
私たちは、私たちの構築されたデータセットに掲載されている多種多様な現実世界の科学的および政治的主張に請求を適用し、微妙な主張を解体し、コーパス内の視点を表す際にその堅牢性と正確さを示します。
現実世界のケーススタディと人間の評価を通じて、複数のベースラインに対するその有効性を検証します。

要約(オリジナル)

Claims made by individuals or entities are oftentimes nuanced and cannot be clearly labeled as entirely ‘true’ or ‘false’ — as is frequently the case with scientific and political claims. However, a claim (e.g., ‘vaccine A is better than vaccine B’) can be dissected into its integral aspects and sub-aspects (e.g., efficacy, safety, distribution), which are individually easier to validate. This enables a more comprehensive, structured response that provides a well-rounded perspective on a given problem while also allowing the reader to prioritize specific angles of interest within the claim (e.g., safety towards children). Thus, we propose ClaimSpect, a retrieval-augmented generation-based framework for automatically constructing a hierarchy of aspects typically considered when addressing a claim and enriching them with corpus-specific perspectives. This structure hierarchically partitions an input corpus to retrieve relevant segments, which assist in discovering new sub-aspects. Moreover, these segments enable the discovery of varying perspectives towards an aspect of the claim (e.g., support, neutral, or oppose) and their respective prevalence (e.g., ‘how many biomedical papers believe vaccine A is more transportable than B?’). We apply ClaimSpect to a wide variety of real-world scientific and political claims featured in our constructed dataset, showcasing its robustness and accuracy in deconstructing a nuanced claim and representing perspectives within a corpus. Through real-world case studies and human evaluation, we validate its effectiveness over multiple baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google