Incitation à l'évaluation par un accès limité à la vérité du terrain : la prédiction par les pairs aggrave les choses

Dans de nombreux cas, un moyen efficace d'évaluer des objets d'intérêt consiste à recueillir les évaluations d'individus dispersés et à les regrouper. La catégorisation du contenu en ligne et l'évaluation des travaux d'étudiants par des pairs en sont des exemples. Pour ce problème de science des données, l'un des défis consiste à motiver les participants à effectuer ces évaluations avec soin et à les communiquer honnêtement, en particulier lorsque cela est coûteux. Les approches existantes, notamment les mécanismes de prédiction par les pairs, peuvent inciter à dire la vérité en équilibre. Cependant, elles donnent également lieu à des équilibres dans lesquels les agents ne paient pas les coûts nécessaires pour évaluer avec précision, et donc ne parviennent pas à obtenir des informations utiles. Nous montrons que ce problème est inévitable lorsque les agents sont capables de se coordonner en utilisant des signaux à faible coût sur les éléments évalués (par exemple, des étiquettes de texte ou des images). Nous considérons ensuite les moyens de contourner ce problème en comparant les rapports des agents à la vérité de base, qui est disponible en pratique lorsqu'il existe des évaluateurs de confiance - comme les assistants d'enseignement dans le scénario de notation par les pairs - qui peuvent effectuer un nombre limité d'évaluations impartiales (mais bruyantes). Bien sûr, lorsque cette vérité de base est disponible, une approche plus simple est également possible : récompenser chaque agent en fonction de son accord avec la vérité de base avec une certaine probabilité, et récompenser l'agent sans condition dans le cas contraire. De manière surprenante, nous montrons que le mécanisme le plus simple permet d'obtenir des garanties d'incitation plus fortes, avec un accès plus limité à la vérité de base, qu'un large ensemble de mécanismes de prédiction par les pairs.