Towards Better User Studies in Computer Graphics and Vision

要約

オンライン クラウドソーシング プラットフォームにより、「A と B のどちらの画像が優れているか」などの調査質問を使用してアルゴリズムの出力を評価することがますます簡単になり、ビジョンやグラフィックスの研究論文が急増しました。
これらの研究の結果は、多くの場合、論文の貢献を裏付ける定量的証拠として使用されます。
後付けとして急いで実施すると、そのような研究は有益でなく、場合によっては誤解を招く結論の増加につながると私たちは主張します.
(1) 再現性の向上と (2) プロジェクトの方向性の向上に向けて、コンピューター ビジョンとグラフィックス ペーパーにおけるユーザー調査の設計と報告の両方に、さらに注意を払うよう求めます。
この呼びかけとともに、ユーザー エクスペリエンス調査 (UXR)、ヒューマン コンピュータ インタラクション (HCI)、および関連分野からの方法論の概要を提供し、利用可能な方法論とベスト プラクティスへの露出を増やします。
現在、コンピューター ビジョンやグラフィックスの研究では十分に活用されていませんが、貴重なプロジェクトの方向性を提供できる基本的なユーザー調査方法 (ニーズ発見など) について説明します。
他の UXR 方法論の探求に関心のある読者のために、文献へのさらなるポインタを提供します。
最後に、研究コミュニティに対するより広範な未解決の問題と推奨事項について説明します。
プロジェクト タイムラインのどこでユーザー調査が最も有益であるか、すべての研究への貢献がユーザー調査を必要とするわけではないこと、ユーザー調査を誤って強調するとおざなりの調査を奨励する可能性があることを、著者と査読者に同様に認識してもらうことをお勧めします。

要約(オリジナル)

Online crowdsourcing platforms have made it increasingly easy to perform evaluations of algorithm outputs with survey questions like “which image is better, A or B?”, leading to their proliferation in vision and graphics research papers. Results of these studies are often used as quantitative evidence in support of a paper’s contributions. We argue that, when conducted hastily as an afterthought, such studies lead to an increase of uninformative, and in some cases, misleading conclusions. We call for increased attention to both the design and reporting of user studies in computer vision and graphics papers towards (1) improved replicability and (2) improved project direction. Together with this call, we offer an overview of methodologies from user experience research (UXR), human-computer interaction (HCI), and related fields to increase exposure to the available methodologies and best practices. We discuss foundational user research methods (e.g., needfinding) that are presently underutilized in computer vision and graphics research, but can provide valuable project direction. We provide further pointers to the literature for readers interested in exploring other UXR methodologies. Finally, we describe broader open issues and recommendations for the research community. We encourage authors and reviewers alike to recognize where in the project timeline a user study would be most informative, that not every research contribution requires a user study, and that a misguided emphasis on user studies can incentivise perfunctory studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google