Apprendre des modèles causaux en ligne

Résumé

Les modèles prédictifs - appris à partir de données d'observation ne couvrant pas la distribution complète des données - peuvent s'appuyer sur des corrélations parasites dans les données pour faire des prédictions. Ces corrélations rendent les modèles fragiles et empêchent la généralisation. Une solution pour obtenir une forte généralisation consiste à incorporer des structures causales dans les modèles ; ces structures limitent l'apprentissage en ignorant les corrélations qui les contredisent. Cependant, l'apprentissage de ces structures est un problème difficile en soi. De plus, il n'est pas clair comment incorporer la machinerie de la causalité avec l'apprentissage continu en ligne. Dans ce travail, nous adoptons une approche indirecte pour découvrir des modèles causaux. Au lieu de rechercher directement le véritable modèle causal, nous proposons un algorithme en ligne qui détecte et supprime continuellement les caractéristiques parasites. Notre algorithme repose sur l'idée que la corrélation d'une caractéristique parasite avec une cible n'est pas constante dans le temps. Par conséquent, le poids associé à cette caractéristique change constamment. Nous montrons qu'en éliminant continuellement de telles caractéristiques, notre méthode converge vers des solutions qui ont une forte généralisation. De plus, notre méthode combinée à la recherche aléatoire peut également découvrir des caractéristiques non fausses à partir de données sensorielles brutes. Enfin, notre travail met en évidence que l'information présente dans la structure temporelle du problème -- détruite par le brassage des données -- est essentielle pour la détection en ligne de caractéristiques fallacieuses.