Améliorer le compromis entre performance et compatibilité à l'aide de fonctions d'objectif personnalisées

Résumé

Les systèmes d'IA qui modélisent et interagissent avec leurs utilisateurs peuvent mettre à jour leurs modèles au fil du temps afin de refléter les nouvelles informations et les changements de l'environnement. Bien que ces mises à jour puissent améliorer la performance globale du système d'IA, elles peuvent en fait nuire à la performance des utilisateurs individuels. Des travaux antérieurs ont étudié le compromis entre l'amélioration des performances du système après une mise à jour et la compatibilité du système mis à jour avec l'expérience antérieure de l'utilisateur. Plus le modèle est forcé d'être compatible avec une version antérieure, plus il subira une perte de performance importante. Cet article remet en question cette hypothèse en montrant qu'en personnalisant la fonction de perte pour des utilisateurs spécifiques, il est possible d'augmenter la performance de prédiction du système d'IA tout en sacrifiant moins de compatibilité pour ces utilisateurs. Notre approche met à jour les poids des échantillons pour refléter leur contribution à la compatibilité du modèle pour un utilisateur particulier après la mise à jour. Nous construisons un portefeuille de modèles différents qui varient dans la façon dont ils personnalisent la fonction de perte pour un utilisateur. Nous sélectionnons le meilleur modèle à utiliser pour un utilisateur cible sur la base d'un ensemble de validation. Nous appliquons cette approche à trois tâches d'apprentissage supervisé couramment utilisées dans la littérature sur la prise de décision par l'homme et l'ordinateur. Nous montrons que l'utilisation de notre approche conduit à des améliorations significatives dans le compromis performance-compatibilité par rapport à l'approche non personnalisée de Bansal et al, atteignant jusqu'à 300% d'amélioration pour certains utilisateurs. Nous présentons plusieurs cas d'utilisation qui illustrent la différence entre l'approche personnalisée et non personnalisée pour deux de nos domaines.