A Measure Based Generalizable Approach to Understandability

要約

エージェントと人間のパートナーシップを成功させるには、すべてのエージェントが生成した情報が人間にとって理解可能であり、人間がエージェントを目標に向けて簡単に誘導できることを要求しています。
このような効果的なコミュニケーションには、エージェントが人間にとって理解できるもののより細かいレベルの概念を開発する必要があります。
LLMを含む最先端のエージェントには、トレーニングデータから平均人間の感性を捉えているため、操縦性が限られているため（例えば、些細な迅速なエンジニアリングを必要とする）、理解可能性のこの詳細な概念が欠けています。
この論文では、データのみに依存するのではなく、これらのエージェントの指示として使用できる理解可能性の一般化可能なドメインに依存しない測定を開発することを主張します。
理解可能性の測定に関する既存の研究は断片化されており、ドメイン全体でさまざまな努力を調査し、将来のよりコヒーレントおよびドメインに依存しない研究調査のために認知科学的に根ざした基礎を築きます。

要約(オリジナル)

Successful agent-human partnerships require that any agent generated information is understandable to the human, and that the human can easily steer the agent towards a goal. Such effective communication requires the agent to develop a finer-level notion of what is understandable to the human. State-of-the-art agents, including LLMs, lack this detailed notion of understandability because they only capture average human sensibilities from the training data, and therefore afford limited steerability (e.g., requiring non-trivial prompt engineering). In this paper, instead of only relying on data, we argue for developing generalizable, domain-agnostic measures of understandability that can be used as directives for these agents. Existing research on understandability measures is fragmented, we survey various such efforts across domains, and lay a cognitive-science-rooted groundwork for more coherent and domain-agnostic research investigations in future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google