Arsalan Sharifnassab ⋅ Mohamed Elsayed ⋅ Kris De Asis ⋅ Rupam Mahmood* ⋅ Rich Sutton*

LIEN VERS L'ARTICLE

In gradient-based learning, a step size chosen in parameter units does not produce a predictable per-step change in the function output. This may lead to instability in the streaming setting (i.e., batch size=1), where stochasticity is not averaged out and update magnitudes can momentarily become arbitrarily big or small. Instead, we propose \emph{intentional updates}: first specify the \emph{intended outcome} of an update and then solve for the step size that approximately achieves it. This strategy has precedent in online supervised linear regression via normalized LMS, which selects a step size to yield a specified change in the function output proportional to the current error. We extend this principle to streaming reinforcement learning by defining appropriate intended outcomes: \emph{Intentional TD} aims for a fixed fractional reduction of the current TD error relative to the momentary bootstrap target, and \emph{Intentional Policy Gradient} aims for a bounded per-step change in the policy, limiting local KL divergence. We develop practical implementations integrating eligibility traces and diagonal scaling; our experiments show that these methods yield state-of-the-art streaming performance often comparable to batch and replay-buffer learning.

Vincent Guan ⋅ Lazar Atanackovic* ⋅ Kirill Neklyudov

LIEN VERS L'ARTICLE

La dynamique des populations de molécules, de cellules et d’organismes est régie par un certain nombre de forces internes et externes encore inconnues. Au cours de la dernière décennie, la dynamique des populations a principalement été modélisée à l’aide des flux de gradient de Wasserstein. Cependant, comme ces flux de gradient minimisent l’énergie libre, ils ne parviennent pas à rendre compte de certaines propriétés dynamiques importantes, telles que la périodicité. Dans ce travail, nous proposons un changement de perspective en considérant une dynamique des populations qui minimise l’action lagrangienne de Wasserstein, plutôt que l’énergie libre. Nos principales contributions théoriques consistent à déduire les équations hamiltoniennes du mouvement à partir du principe de l’action minimale au niveau de la population, et à montrer que cette mécanique englobe la mécanique classique, la mécanique quantique et les flux de gradient. Nous tirons en outre parti de cette perspective hamiltonienne pour proposer un algorithme qui apprend la mécanique des populations à partir de marginales observées, sans spécifier le lagrangien. Nous démontrons qu’en apprenant directement la mécanique des populations, notre méthode prédit et interpole des marginales non observées sans processus de référence, et surpasse les méthodes de flux de gradient et d’appariement de flux dans un large éventail d’expériences réelles et simulées.

Yiming Zhang ⋅ Jiacheng Chen ⋅ Jiaqi Tan ⋅ Yongsen Mao ⋅ Wenhu Chen ⋅ Angel X Chang*

LIEN VERS L'ARTICLE

Les évaluations actuelles de l'intelligence spatiale peuvent s'avérer systématiquement erronées dans le cadre des modèles modernes de vision-langage (VLM). Premièrement, de nombreux benchmarks tirent leurs paires question-réponse (QA) d’annotations 3D basées sur des nuages de points, initialement créées pour la perception 3D traditionnelle. Lorsque ces annotations sont considérées comme la « vérité de référence » pour une évaluation basée sur la vidéo, des artefacts de reconstruction et d’annotation peuvent faire omettre des objets clairement visibles dans la vidéo, attribuer une étiquette erronée à des objets ou corrompre des réponses dépendantes de la géométrie (par exemple, la taille), ce qui donne lieu à des paires QA incorrectes ou ambiguës. Deuxièmement, les évaluations supposent souvent un accès à la scène complète, alors que de nombreux VLM fonctionnent sur des images échantillonnées de manière clairsemée (par exemple, 16 à 64), rendant de nombreuses questions pratiquement impossibles à répondre compte tenu des entrées réelles du modèle. Nous améliorons la validité de l’évaluation en introduisant ReVSI, un benchmark et un protocole garantissant que chaque paire question-réponse est répondable et correcte compte tenu des entrées réelles du modèle. À cette fin, nous réannotons les étiquettes d’objets et la géométrie sur 413 scènes issues de 5 jeux de données afin d’améliorer la qualité des données, et nous régénérons toutes les paires question-réponse en appliquant une atténuation rigoureuse des biais et une vérification humaine à l’aide d’outils professionnels de visualisation et d’annotation 3D. Nous améliorons encore la contrôlabilité de l’évaluation en proposant des variantes pour différents budgets d’images (16/32/64/toutes) ainsi que des métadonnées granulaires sur la visibilité des objets, ce qui permet des analyses diagnostiques contrôlées. Les évaluations des VLM généraux et spécifiques à un domaine sur ReVSI révèlent des modes de défaillance systématiques qui étaient masqués par les benchmarks antérieurs, offrant ainsi une évaluation plus fiable et plus diagnostique de l’intelligence spatiale.

Shi-ang Qi ⋅ Yakun Yu ⋅ Russell Greiner*

LIEN VERS L'ARTICLE

L'apprentissage basé sur la vraisemblance est le paradigme dominant en matière de prédiction de survie. Dans le cas d'une censure indépendante, on peut factoriser la vraisemblance et n'optimiser que les termes liés à la modélisation des événements, en considérant de fait le mécanisme de censure comme accessoire. Cette approche se justifie lorsque la censure est non informative, c’est-à-dire lorsque le processus de censure ne partage aucun paramètre avec le modèle de temps d’événement. Cependant, cela peut ne pas être le cas en pratique, et ignorer les contributions de la censure peut conduire à écarter des signaux utiles pour l’apprentissage de représentations susceptibles d’aider à estimer efficacement les distributions d’événements. C’est pourquoi nous soutenons que la modélisation explicite de la censure peut améliorer l’apprentissage de représentations et l’estimation du délai jusqu’à l’événement, en particulier lorsque les processus d’événement et de censure sont couplés. Nous introduisons une approche de décomposition latente qui partitionne les covariables en quatre facteurs disjoints : ceux qui affectent uniquement le processus d’événement, uniquement le processus de censure, les deux, ou aucun des deux. Nous apprenons ensuite des représentations décomposées pour les trois premières catégories afin de guider une meilleure estimation de la distribution des événements. Nous appliquons notre méthode à quatre modèles de survie courants basés sur l’apprentissage profond et l’évaluons sur 10 ensembles de données (2 semi-synthétiques et 8 réels), démontrant des gains constants par rapport à des références solides et à plusieurs méthodes de pointe (SOTA).

Christian Marius Lillelund ⋅ Shi-ang Qi ⋅ Russell Greiner* ⋅ Christian Fischer Pedersen

LIEN VERS L'ARTICLE

La situation actuelle en matière d'évaluation dans le domaine de l'analyse de survie est marquée par l'utilisation persistante de mesures d'évaluation dont l'application n'est pas en adéquation avec l'objectif de modélisation déclaré. De plus, bon nombre de ces évaluations reposent sur des hypothèses de censure laissées implicites ou non justifiées. Cela signifie que les performances rapportées peuvent être trompeuses et ne pas répondre à la question scientifique ou de modélisation que l’évaluation était censée aborder. Dans cette prise de position, nous présentons une analyse critique des pratiques d’évaluation en analyse de survie et soulignons pourquoi l’évaluation dans ce domaine diffère fondamentalement de la régression ou de la classification standard en raison de la censure. Nous nous intéressons tout particulièrement aux mesures basées sur la concordance, telles que l’indice C, dont nos résultats indiquent qu’elles sont largement surutilisées dans la littérature. Afin d’aider à identifier les indicateurs appropriés, nous proposons un ensemble de critères clés et introduisons le concept d’« échelle en double hélice », selon lequel une évaluation valide nécessite une cohérence entre les indicateurs et les hypothèses de modélisation ; nous fournissons des preuves empiriques de l’efficacité de cette approche. Nous concluons en proposant des conseils pratiques sur la manière d’évaluer un modèle de survie.

Jiayi Dai ⋅ Randy Goebel*

LIEN VERS L'ARTICLE

En raison de l’utilisation généralisée des réseaux neuronaux profonds (DNN), en particulier dans des domaines à enjeux élevés, l’interprétabilité de ces réseaux fait l’objet d’une attention croissante. Le principe général de l’extraction de justifications (RE) consiste à fournir un cadre de conception interprétable pour les DNN via une architecture « select-predict » dans laquelle deux réseaux neuronaux apprennent conjointement à effectuer respectivement la sélection de caractéristiques et la prédiction. En ne disposant que d’une supervision à distance issue de la prédiction de la tâche finale, le processus d’apprentissage visant à sélectionner des sous-ensembles de caractéristiques (ou justifications) nécessite d’explorer l’espace de toutes les combinaisons possibles de caractéristiques, ce qui représente un défi computationnel d’autant plus difficile à relever lorsque les réseaux neuronaux de base ne sont pas suffisamment performants. Afin d’améliorer les performances prédictives des modèles de RE basés sur des réseaux neuronaux moins performants ou plus petits (c’est-à-dire les « élèves »), nous proposons REKD (Rationale Extraction avec Kconnaissances Distillation), dans laquelle un modèle RE d’élève apprend à partir des justifications et des prédictions d’un enseignant (c’est-à-dire un rationaliste) en plus de sa propre optimisation RE. Cet ajustement structurel de la RE correspond bien à la manière dont les humains pourraient apprendre efficacement à partir de connaissances interprétables et vérifiables. En raison de la nature agnostique de la méthode vis-à-vis des modèles neuronaux, n’importe quel réseau neuronal de type « boîte noire » pourrait être intégré en tant que modèle de base. Pour démontrer la viabilité de REKD, nous menons des expériences avec plusieurs variantes des modèles BERT et Vision Transformer (ViT). Nos expériences menées sur des ensembles de données de classification linguistique et visuelle (à savoir les critiques de films IMDB, CIFAR 10 et CIFAR 100) montrent que le REKD améliore considérablement les performances prédictives des modèles RE « élèves ».

Pankaj Bhagwat ⋅ Zhixian Yang ⋅ Yihao Wang ⋅ Bei Jiang* ⋅ Linglong Kong*

LIEN VERS L'ARTICLE

La prédiction conforme (CP) offre des garanties rigoureuses de couverture pour les échantillons finis, mais son efficacité statistique dépend fortement de la taille de l’ensemble d’étalonnage. Dans les contextes où les données sont rares, la CP souffre souvent d’une estimation volatile des quantiles, ce qui conduit à des intervalles de prédiction trop conservateurs et trop larges. Pour remédier à cela, nous proposons la prédiction conforme par alignement aléatoire des scores (RSA-CP), un cadre simple conçu pour améliorer l’efficacité d’échantillonnage dans la CP à petit échantillon. Au lieu de nécessiter la génération, très gourmande en ressources de calcul, d’ensembles de données entièrement synthétiques, la RSA-CP améliore l’étalonnage en alignant directement les scores réels sur une distribution de scores de référence à haute résolution. En utilisant un mappage de transport optimal, notre cadre affine les incréments de quantiles « en escalier » grâce à une utilisation globalement optimale des informations de référence. Nous fournissons des garanties théoriques établissant que le RSA-CP maintient une couverture robuste sans aucune hypothèse de distribution sur les scores de référence. Des évaluations empiriques démontrent que le RSA-CP produit systématiquement des intervalles de prédiction plus courts et plus précis tout en conservant des garanties de couverture pour les échantillons finis. Dans l’ensemble, le RSA-CP offre une solution efficace sur le plan computationnel et fondée sur des bases théoriques pour une quantification robuste de l’incertitude avec des données limitées.

Guang Yang ⋅ Bo Pan ⋅ Chengdi Lian ⋅ Xingcai Zhou ⋅ Linglong Kong* ⋅ Yafei Wang ⋅ Bei Jiang*

LIEN VERS L'ARTICLE

La régression quantile fédérée (FQR) s’est imposée comme un puissant paradigme de modélisation pour l’estimation des quantiles conditionnels, offrant une compréhension plus complète des distributions de réponse que la régression standard des moyennes conditionnelles. Cependant, il reste difficile d’atteindre à la fois une efficacité de communication et des garanties statistiques optimales pour la FQR, notamment en raison de la nature non lisse des fonctions de perte quantile et de la présence de données à structure hétérogène, dans lesquelles chaque agent local entraîne ses modèles de quantiles conditionnels à partir d’ensembles distincts de caractéristiques. Dans cet article, nous proposons un estimateur d’ensemble pondéré « one-shot » et piloté par les données pour la FQR, qui intègre des schémas de pondération évolutifs afin d’exploiter efficacement les caractéristiques partiellement observées chez chaque agent local, bénéficiant ainsi à la fois d’une efficacité de communication et d’une optimalité d’estimation. Sur le plan théorique, nous présentons une analyse unifiée de la procédure d’apprentissage proposée, établissant que l’estimateur qui en résulte présente une normalité asymptotique et atteint une variance uniformément minimale. De plus, nous étudions la sensibilité de l’estimateur aux perturbations introduites par les agents locaux et déduisons les conditions sous lesquelles l’estimateur atteint la stabilité et bénéficie d’une forte généralisation hors échantillon. Des simulations approfondies et l’analyse de données réelles dans divers scénarios valident la normalité asymptotique de notre estimateur et démontrent sa précision d’estimation supérieure ainsi que sa convergence uniforme par rapport à plusieurs méthodes de référence, sur une large gamme de niveaux de quantiles.

Zefeng Li ⋅ Qiaoyue Tang ⋅ Mathias Lécuyer* ⋅ Evan Shelhamer

LIEN VERS L'ARTICLE

L'adaptation au moment du test (TTA) permet de réduire l'erreur sur des données nouvelles et différentes en mettant à jour le modèle à partir de ces entrées pendant l'inférence. Cependant, ces mises à jour soulèvent la question de la confidentialité des données de test, car les paramètres du modèle dépendent désormais de toutes les entrées passées. Pour maîtriser ce risque lié à la confidentialité, nous avons transposé plusieurs méthodes TTA courantes (Tent, EATA, SAR, DeYO et COME) sous forme de confidentialité différentielle (DP) qui appliquent un écrêtage du gradient par échantillon et un bruit gaussien à toutes les mises à jour. Sur ImageNet-C, nos méthodes DP-TTA offrent une confidentialité adéquate au prix d’une perte de précision minime ; dans le régime de faible confidentialité, le mécanisme de clipping de la DP améliore même la précision et la stabilité de l’adaptation en contexte continu. Ces améliorations en matière de confidentialité et de précision n’entraînent qu’une surcharge de calcul modeste. Ces premiers résultats sur le TTA privé sensibilisent à cette problématique, éclairent le développement de mises à jour plus respectueuses de la confidentialité en phase de test et identifient l’écrêtage par échantillon comme une technique fiable pour améliorer la précision et la stabilité de l’adaptation.

Zefeng Li ⋅ Qiaoyue Tang ⋅ Mathias Lécuyer* ⋅ Evan Shelhamer

LIEN VERS L'ARTICLE

L'adaptation au moment du test (TTA) permet de réduire l'erreur sur des données nouvelles et différentes en mettant à jour le modèle à partir de ces entrées pendant l'inférence. Cependant, ces mises à jour soulèvent la question de la confidentialité des données de test, car les paramètres du modèle dépendent désormais de toutes les entrées passées. Pour maîtriser ce risque lié à la confidentialité, nous avons transposé plusieurs méthodes TTA courantes (Tent, EATA, SAR, DeYO et COME) sous forme de confidentialité différentielle (DP) qui appliquent un écrêtage du gradient par échantillon et un bruit gaussien à toutes les mises à jour. Sur ImageNet-C, nos méthodes DP-TTA offrent une confidentialité adéquate au prix d’une perte de précision minime ; dans le régime de faible confidentialité, le mécanisme de clipping de la DP améliore même la précision et la stabilité de l’adaptation en contexte continu. Ces améliorations en matière de confidentialité et de précision n’entraînent qu’une surcharge de calcul modeste. Ces premiers résultats sur le TTA privé sensibilisent à cette problématique, éclairent le développement de mises à jour plus respectueuses de la confidentialité en phase de test et identifient l’écrêtage par échantillon comme une technique fiable pour améliorer la précision et la stabilité de l’adaptation.

Jake Tuero ⋅ Michael Buro ⋅ Levi Lelis* ⋅ Laurent Orseau

LIEN VERS L'ARTICLE

La recherche dans un arbre de politiques basée sur des sous-objectifs, qui utilise une politique pour guider la recherche, s’avère efficace pour les problèmes déterministes complexes impliquant un seul agent, mais repose souvent sur la génération explicite de sous-objectifs, ce qui peut entraîner une surcharge importante et nuire à l’évolutivité. Dans cet article, nous surmontons ces limites en utilisant un « re-routeur » appris grâce à l’algorithme récemment introduit. Un « rerooter » décompose implicitement le problème en sous-tâches souples. Alors que les travaux antérieurs se concentraient sur les garanties formelles pour des « rerooters » donnés ou conçus manuellement, nous proposons ici trois conceptions de « rerooter » : (i) un « rerooter » basé sur le regroupement qui exploite la structure globale de l’espace d’états, (ii) un « rerooter » basé sur une heuristique qui tire parti d’estimations apprises du coût restant à parcourir, et (iii) un modèle hybride combinant ces deux approches. Notre cadre évite d’avoir à reconstruire explicitement et à raisonner sur des sous-objectifs générés, permettant ainsi une allocation évolutive de l’effort de recherche avec une surcharge de calcul nettement réduite. Empiriquement, nos méthodes basées sur le « rerooting » s’adaptent à des environnements complexes où la recherche dans l’arbre de politiques basée sur les sous-objectifs échoue, et atteignent une efficacité d’apprentissage en ligne de pointe sur les domaines testés.

Amirhossein Rajabpour ⋅ Kiarash Aghakasiri ⋅ Sandra Zilles* ⋅ Levi Lelis*

LIEN VERS L'ARTICLE

On observe souvent que les politiques programmatiques présentent une meilleure généralisation que les politiques neuronales dans les tests de référence de l'apprentissage par renforcement (RL). Nous réexaminons certaines de ces affirmations et montrons qu’une grande partie de l’écart observé résulte de facteurs expérimentaux non contrôlés plutôt que de raisons intrinsèques liées à la représentation. En réévaluant trois benchmarks phares utilisés dans des articles influents — TORCS, Karel et Parking —, nous constatons que les politiques neuronales, lorsqu’elles sont entraînées avec quelques modifications, telles que des observations clairsemées et des fonctions de récompense intrinsèque prudentes, peuvent égaler ou dépasser la généralisation hors distribution (OOD) des politiques programmatiques. Nous soutenons qu’une représentation permet la généralisation hors distribution si (i) l’espace de politiques qu’elle induit inclut une politique généralisante et (ii) l’algorithme de recherche est capable de la trouver. Les politiques neuronales et programmatiques des travaux antérieurs sont comparables en termes de généralisation hors distribution, car les langages spécifiques au domaine utilisés induisent des espaces de politiques similaires à ceux des réseaux neuronaux, et nos modifications aident la recherche par gradient à trouver des solutions généralisantes. En dissociant les facteurs de représentation des facteurs de confusion expérimentaux, nous approfondissons notre compréhension de ce qui fait qu’une représentation réussit ou échoue en matière de généralisation hors distribution.

Narun Raman ⋅ Taylor Lundy ⋅ Kevin Leyton-Brown*

LIEN VERS L'ARTICLE

Lors de l’évaluation des grands modèles linguistiques (LLM) dans le domaine des systèmes de questions-réponses, les questions à choix multiples (MCQA) sont largement utilisées car elles permettent une notation automatique. Cependant, les MCQA exposent également les modèles à des options de réponse susceptibles d’être exploitées de manière à gonfler leur capacité de raisonnement. Nous étudions ce phénomène à travers différents benchmarks de questions-réponses et 27 LLM en faisant varier systématiquement la manière et le moment où les modèles sont exposés aux options de réponse. Pour les LLM non axés sur le raisonnement, le MCQA peut rester un bon indicateur des performances en texte libre lorsque tout enchaînement de pensées est généré uniquement avant que les options ne soient révélées. Cependant, ce format « découplé » n’est pas réalisable pour la plupart des modèles de raisonnement : ceux-ci sont conçus pour émettre des tokens de raisonnement dès qu’ils y sont invités ; ainsi, si des options sont présentes, ils « raisonnent » inévitablement à partir de ces options. En pratique, cela rend les modèles de raisonnement particulièrement efficaces pour extraire des informations pertinentes des options, et peut générer des gains importants, mais trompeurs, par rapport aux références en texte libre. Afin de caractériser la manière dont les modèles exploitent les MCQA, nous introduisons des sondes diagnostiques qui isolent les voies d’exploitation « options seules » et « question plus options », et nous quantifions l’impact des choix de conception, tels que la force des distracteurs et les réponses de type « aucune de ces réponses », sur l’exploitabilité. Enfin, nous avons examiné la pratique du questionnaire à choix multiples en tant que diagnostic d’erreur : déduire l’erreur d’un modèle à partir de la mauvaise option qu’il choisit. Sur des benchmarks où le raisonnement peut être exprimé sous forme de code, nous demandons aux modèles de générer du code, que nous exécutons ensuite en faisant varier les entrées, puis nous comparons le comportement d’entrée-sortie qui en résulte, révélant ainsi des modes de défaillance que les diagnostics MCQA masquent. Enfin, nous proposons des recommandations pratiques pour l’analyse des résultats issus du MCQA, qui reflètent mieux les véritables capacités de raisonnement des LLM.

Afficher moins

Matthew Vandergrift ⋅ Esraa Elelimy ⋅ Martha White*

LIEN VERS L'ARTICLE

L’un des objectifs de la recherche en apprentissage par renforcement (RL) consiste à comprendre la prise de décision séquentielle à usage général, en utilisant des simulateurs de référence comme approximation de l’apprentissage dans un contexte de déploiement. Cependant, lors de la réalisation d’expériences, l’objectif d’atteindre des performances élevées dans le simulateur peut se transformer en une volonté exclusive de « résoudre » le simulateur. Pour obtenir des scores élevés, les chercheurs peuvent adopter des solutions destinées exclusivement à résoudre les simulateurs, plutôt que d’apprendre pendant que l’agent est déployé en dehors d’un simulateur. La résolution de simulateurs mérite également d’être étudiée, mais il s’agit d’une question de recherche en RL fondamentalement différente . Dans cet article, nous soutenons que les chercheurs en RL doivent distinguer deux cas d’utilisation des simulateurs : la résolution de simulateurs et l’utilisation des simulateurs comme substitut de l’apprentissage en conditions réelles. Nous discutons tout d’abord en quoi ces deux cas d’utilisation diffèrent de manière significative, en termes de contraintes sur la manière dont l’agent peut utiliser le simulateur, d’algorithmes appropriés et de métriques d’évaluation pertinentes. Nous mettons ensuite en évidence plusieurs problèmes et conclusions trompeuses pouvant résulter d’un manque de clarté dans la distinction entre ces deux contextes, en nous appuyant sur des exemples et des expériences simples. Ce travail constitue un appel lancé à la communauté pour qu’elle commence à distinguer clairement la manière dont elle utilise les simulateurs dans ses travaux, dans l’espoir de susciter de nouvelles discussions sur les pratiques empiriques les plus efficaces dans chaque contexte.

Prabhat Nagarajan ⋅ Brett Daley ⋅ Martha White*⋅ Marlos C. Machado*

LIEN VERS L'ARTICLE

L'apprentissage efficace des valeurs d'action est au cœur de l'apprentissage par renforcement (RL), car celles-ci sont à la base de nombreux algorithmes de contrôle, tels que l'apprentissage Q. Cependant, l'apprentissage des valeurs d'action peut s'avérer lent, nécessitant de nombreuses mises à jour pour faire passer les valeurs de leur initialisation, généralement proche de zéro, à leurs valeurs réelles, qui peuvent être très éloignées de zéro. De plus, les algorithmes d'apprentissage des valeurs d'action mettent généralement à jour chaque paire état-action de manière indépendante, sans apprendre la structure de valeur commune aux actions au sein d'un même état. Dans cet article, nous remédions à ces inefficacités en introduisant la transformation par expansion de la moyenne, qui accélère l’apprentissage des valeurs d’action en partageant les valeurs entre les actions au sein d’un même état et en transformant le problème : il ne s’agit plus d’apprendre directement des valeurs d’action potentiellement élevées, mais d’apprendre une représentation de celles-ci à norme plus faible. En apprentissage profond par renforcement, cette transformation peut être appliquée comme une modification sans paramètre aux architectures de réseaux Q sans altérer l’algorithme sous-jacent. Empiriquement, nous montrons qu’elle améliore les performances globales du DQN sur 57 jeux Atari tout en augmentant les écarts d’action et en réduisant considérablement la surestimation des valeurs.

Dikshant Shehmar ⋅ Matthew Schlegel ⋅ Matthew Taylor* ⋅ Marlos C. Machado*

LIEN VERS L'ARTICLE

La planification à l'aide d'un modèle appris reste un défi majeur dans l'apprentissage par renforcement (RL) basé sur des modèles. Dans la planification au moment de la décision, les représentations d'état sont essentielles, car elles doivent permettre le calcul des coûts locaux tout en préservant la structure à long terme. Dans cet article, nous montrons que la représentation laplacienne offre un espace latent efficace pour la planification en capturant les distances dans l'espace d'états à plusieurs échelles de temps. Cette représentation préserve des distances significatives et décompose naturellement les problèmes à long terme en sous-objectifs, atténuant ainsi les erreurs cumulatives qui surviennent sur de longs horizons de prédiction. En nous appuyant sur ces propriétés, nous présentons ALPS, un algorithme de planification hiérarchique, et démontrons qu’il surpasse les méthodes de référence couramment utilisées sur une sélection de tâches de RL hors ligne conditionnées par des objectifs issues d’OGBench, un benchmark auparavant dominé par les méthodes sans modèle.

Amman Yusuf ⋅ Zhejun Jiang ⋅ Mi Jung Park*

LIEN VERS L'ARTICLE

Les travaux récents sur les modèles de diffusion de texte offrent une alternative prometteuse à la génération autorégressive, mais la question de leur sécurité reste peu explorée. Les approches existantes en matière de sécurité sont axées sur les modèles autorégressifs et s’appuient généralement sur un filtrage a posteriori ou sur des interventions au moment de l’inférence. Celles-ci s’avèrent insuffisantes pour traiter efficacement les risques liés à la sécurité dans les modèles de diffusion de texte. Nous proposons le Safety-Aware Denoiser (SAD), un cadre d’orientation en matière de sécurité pour les modèles de diffusion de texte. Le SAD modifie le processus itératif de débruitage de manière à ce que l’échantillon de texte à l’étape finale de débruitage soit orienté vers des régions régions sûres de l’espace textuel. Cette méthode en temps d’inférence permet d’intégrer des contraintes de sécurité directement dans le débrouilleur, évitant ainsi un réentraînement du modèle de diffusion sous-jacent, coûteux en ressources de calcul, et offrant un guidage de sécurité flexible et léger. Nous évaluons la sécurité du texte généré à l’aide du SAD, en tenant compte de la taxonomie des dangers, de la mémorisation et des « jailbreaks ». Les résultats expérimentaux montrent que le SAD réduit considérablement les générations dangereuses tout en préservant la qualité, la diversité et la fluidité de la génération, surpassant ainsi les méthodes existantes. Ces résultats démontrent que notre guidage de sécurité pendant le débruitage fournit un mécanisme efficace et évolutif pour garantir la sécurité dans les modèles de diffusion de texte.

Yunxiang LI ⋅ Mark Schmidt* ⋅ Reza Babanezhad ⋅ Sharan Vaswani

LIEN VERS L'ARTICLE

L'apprentissage par différence temporelle (TD) est un algorithme fondamental permettant d'estimer les fonctions de valeur dans l'apprentissage par renforcement. Des analyses récentes à temps fini de l'algorithme TD avec approximation par une fonction linéaire quantifient son taux de convergence théorique. Cependant, elles nécessitent souvent de régler les paramètres de l'algorithme à l'aide de grandeurs dépendantes du problème, difficiles à estimer en pratique — telles que la valeur propre minimale de la covariance des caractéristiques (w) ou le temps de mélange de la chaîne de Markov sous-jacente (Tmix). De plus, certaines analyses s’appuient sur des modifications non standard et peu pratiques, ce qui accentue le fossé entre la théorie et la pratique. Pour pallier ces limites, nous utilisons un schéma de pas exponentiel avec l’algorithme TD(0) standard. Nous analysons la méthode ainsi obtenue dans le cadre de deux régimes d’échantillonnage : l’échantillonnage indépendant et identiquement distribué (i.i.d.) à partir de la distribution stationnaire, et l’échantillonnage markovien, plus pratique, le long d’une trajectoire unique. Dans le cadre i.i.d., l’algorithme proposé ne nécessite pas la connaissance de grandeurs dépendantes du problème telles que , et atteint le compromis optimal entre biais et variance pour la dernière itération. Dans le cadre markovien, nous proposons un algorithme TD(0) régularisé avec un pas exponentiel. L’algorithme ainsi obtenu atteint un taux de convergence comparable à celui des travaux antérieurs, sans nécessiter de projections, de moyennage des itérations, ni de connaissance de ou de . L’apprentissage par différence temporelle (TD) est un algorithme fondamental pour l’estimation des fonctions de valeur en apprentissage par renforcement. Des analyses récentes en temps fini du TD avec approximation par fonction linéaire quantifient son taux de convergence théorique. Cependant, elles nécessitent souvent de régler les paramètres de l’algorithme à l’aide de grandeurs dépendantes du problème qui sont difficiles à estimer en pratique — telles que la valeur propre minimale de la covariance des caractéristiques () ou le temps de mélange de la chaîne de Markov sous-jacente (). De plus, certaines analyses s’appuient sur des modifications non standard et peu pratiques, ce qui accentue le fossé entre la théorie et la pratique. Pour remédier à ces limites, nous utilisons un schéma de pas exponentiel avec l’algorithme TD(0) standard. Nous analysons la méthode ainsi obtenue dans deux régimes d’échantillonnage : l’échantillonnage indépendant et identiquement distribué (i.i.d.) à partir de la distribution stationnaire, et l’échantillonnage markovien, plus pratique, le long d’une trajectoire unique. Dans le cadre i.i.d., l’algorithme proposé ne nécessite pas la connaissance de quantités dépendantes du problème telles que , et atteint le compromis optimal entre biais et variance pour la dernière itération. Dans le cadre markovien, nous proposons un algorithme TD(0) régularisé avec un pas exponentiel. L’algorithme ainsi obtenu atteint un taux de convergence comparable à celui des travaux antérieurs, sans nécessiter de projections, de moyennage des itérations, ni de connaissance de Tmix ou de w.

Leonardo Galli ⋅ Curtis Fox ⋅ Wiebke Bartolomaeus ⋅ Mark Schmidt* ⋅ Holger Rauhut

LIEN VERS L'ARTICLE

L'entraînement des réseaux neuronaux implique souvent des fonctions objectives qui ne sont pas globalement « lisses ». Pour ces fonctions, il est difficile, tant sur le plan théorique que pratique, de répondre à la question suivante : quelle est la taille de pas maximale garantissant la convergence de la descente de gradient (GD) ? Nous abordons cette question ouverte de longue date dans le domaine de l'apprentissage profond en proposant une définition unificatrice des « grandes » tailles de pas, qui ne nécessite qu'une continuité locale de Lipschitz (voire de Hölder) du gradient. Nous concevons des méthodes adaptatives du premier ordre qui produisent de manière prouvée de grandes tailles de pas et montrons qu’elles opèrent à la limite de stabilité (EoS) dès le début de l’apprentissage. En particulier, la perte diminue de manière non monotone et le produit entre la taille de pas et la « sharpness » (ou « sharpness »), c’est-à-dire la plus grande valeur propre de l’hessien, reste supérieur au seuil EoS de 2 tout au long de l’apprentissage. Grâce à notre méthode, nous sommes également en mesure de minimiser la « sharpness » jusqu’à son minimum global. Contrairement à ce que l’on pourrait attendre, nous constatons que le fait de rencontrer des régions globalement plates trop tôt dans l’entraînement peut à la fois ralentir la convergence et compromettre la capacité de généralisation du réseau. En exploitant un argument d’auto-stabilisation, nous permettons à la GD de pénétrer dans des vallées légèrement plus prononcées et de transformer des sessions d’entraînement infructueuses en sessions très réussies.

Zheng He ⋅ Danica J Sutherland*

LIEN VERS L'ARTICLE

Le test d’indépendance conditionnelle constitue un défi fondamental mais intrinsèquement difficile, car il est en général impossible de maîtriser l’erreur de type I. Le paradigme « Model-X », qui connaît un regain de popularité ces derniers temps, offre une solution en s’appuyant sur une distribution conditionnelle parfaitement connue. Dans les régimes de test traditionnels « one-shot », de légers écarts par rapport à une connaissance parfaite sont parfois tolérés, mais les travaux existants dans des contextes en ligne plus réalistes ont exigé un respect strict du modèle « Model-X ». Nous proposons une nouvelle approche pour le test séquentiel de l’indépendance conditionnelle, qui est bien plus robuste face aux erreurs d’estimation de la distribution conditionnelle. Notre méthode, basée sur l’optimisation en ligne de la statistique d’indépendance conditionnelle par noyau, introduit une normalisation novatrice et une stratégie d’étalonnage de type « troncature et décalage » dans le paradigme du test par pari. Ce cadre améliore considérablement la validité avec des distributions conditionnelles estimées, tout en offrant une puissance élevée sur des benchmarks synthétiques de haute dimension et des tâches d’équité issues du monde réel.

Hadi Khalaf ⋅ Flavio Calmon ⋅ Daniel Halpern ⋅ Ariel Procaccia ⋅ Itai Shapira ⋅ Serena Wang*

LIEN VERS L'ARTICLE

La méthode standard pour évaluer les modèles linguistiques sur des tâches subjectives consiste à effectuer des comparaisons par paires : un annotateur choisit la « meilleure » des deux réponses proposées par le modèle pour une consigne donnée. Ces comparaisons sont ensuite agrégées en un classement unique via le cadre de Bradley–Terry (BT), ce qui impose un ordre total à des préférences hétérogènes et va à l’encontre des principes fondamentaux du choix social. En revanche, la théorie du choix social propose une approche alternative appelée « loteries maximales », qui agrège les préférences par paires sans imposer d’hypothèses sur leur structure. Cependant, nous montrons que les loteries maximales peuvent être très sensibles à l’hétérogénéité entre les annotateurs et entre les invites. Nous introduisons les « loteries robustes », qui optimisent les performances dans le pire des cas en cas de variations plausibles des données de préférences. Sur des ensembles de données de préférences à grande échelle, les loteries robustes offrent des garanties de taux de réussite plus fiables sur l’ensemble de la distribution des annotateurs et permettent d’identifier un ensemble stable de modèles les plus performants.

Nika Haghtalab ⋅ Ariel Procaccia ⋅ Han Shao ⋅ Serena Wang* ⋅ Kunhe Yang

LIEN VERS L'ARTICLE

Recent leaderboard-based evaluations of large language models aggregate user feedback by fitting a Bradley--Terry model to pairwise comparisons, producing a single global ranking based on a latent quality score. While appealing for its simplicity, this approach is incompatible with heterogeneous preferences: when LLMs are used across diverse tasks and use cases, users who favor fundamentally different model behaviors can be systematically misrepresented when collapsed into a single quality score. To address this issue, we study \emph{pluralistic leaderboards} that aim to remain \emph{stable} with respect to heterogeneous user populations. Drawing on ideas from social choice theory, we adapt the notion of \emph{local stability}, which requires that no model outside the top-k positions is collectively preferred to the top-k set by more than O(1/k) fraction of users. Building on techniques from the social choice literature, we design an alternative leaderboard mechanism that satisfies local stability while eliciting only O˜(k) pairwise comparisons per user, where k is the size of the prefix for which stability is guaranteed. Using data from LMArena, we show that standard Bradley--Terry aggregation can violate local stability in practice, whereas our method provides substantially stronger stability guarantees.

Jialin Wu ⋅ Wei Shi ⋅ Han Shen ⋅ Peigui Qi ⋅ Kunsheng Tang ⋅ Zhicong Huang ⋅ Binghao Wang ⋅ Zhou Yang*

LIEN VERS L'ARTICLE

Malgré les capacités avancées des grands modèles vision-langage (LVLM), ceux-ci souffrent fréquemment d’« hallucinations d’objets ». L’une des raisons est que les caractéristiques visuelles et les représentations textuelles pré-entraînées s’entremêlent souvent dans les couches profondes du réseau. Pour remédier à cela, nous proposons REVIS, un cadre ne nécessitant aucun entraînement, conçu pour réactiver explicitement ces informations visuelles supprimées. S'appuyant sur la géométrie de l'espace latent, REVIS extrait le vecteur d'informations visuelles pures par projection orthogonale et utilise une stratégie calibrée pour n'intervenir de manière clairsemée qu'à la profondeur précise où la suppression se produit. Cette approche chirurgicale restaure efficacement les informations visuelles avec un coût de calcul minimal. Des évaluations empiriques sur des benchmarks standard démontrent que REVIS réduit les taux d'hallucination d'objets d'environ 19 % par rapport aux modèles de référence de pointe, tout en préservant les capacités de raisonnement général.

Zheng Liu ⋅ Chen GONG ⋅ Terry Yue Zhuo ⋅ Zhou Yang* ⋅ Kecen Li ⋅ Wenlong Meng ⋅ Xinwen Hou ⋅ Yu Liu ⋅ Xiaochen Li

LIEN VERS L'ARTICLE

Les grands modèles linguistiques (LLM) affinés à partir de paires « instruction-code » peuvent mémoriser, puis divulguer, des données d’entraînement sensibles. Les méthodes existantes de génération de code à confidentialité différentielle (DP) protègent principalement les extraits de code tout en partant du principe que les prompts sont publics, ce qui s’avère insuffisant dans des scénarios réalistes où les prompts peuvent également contenir des informations sensibles. Lorsque les prompts ne peuvent pas être explicitement appris ou utilisés lors de la génération, la synthèse de code souffre d’une forte dégradation de son utilité et d’une diversité réduite. Pour relever ces défis, nous proposons PrivCode++, le premier travail à explorer la génération de code DP dans un contexte où tant les consignes que les extraits de code sont considérés comme sensibles lors du fin-ajustement des grands modèles linguistiques. PrivCode++ introduit un cadre DP en deux étapes doté d’un module de conditionnement latent sans atteinte à la vie privée, permettant un fin-ajustement DP et une synthèse de données efficaces sans accès direct aux consignes ou au code sensibles. Des expériences approfondies montrent que PrivCode++ atteint une utilité nettement supérieure à celle des modèles de référence, reste compétitif par rapport à la méthode reposant sur des hypothèses d’assimilation plus souples, et offre des garanties de confidentialité plus solides.

Hongbo Yin ⋅ Wu Jichun ⋅ Zhou Yang* ⋅ Chi Jiang ⋅ Yin Zhang ⋅ Yan Zhang

LIEN VERS L'ARTICLE

Dans l’apprentissage fédéré personnalisé (PFL), les graphes de collaboration définissent l’agrégation des modèles entre les clients. Cependant, en l’absence de contraintes sur la géométrie de la collaboration, l’entraînement peut dériver vers deux régimes dégénérés : le consensus global ou le regroupement spontané. Cet article propose une analyse dynamique unifiée : à budget égal de modèles représentatifs, le PFL collaboratif est plus expressif et atteint une précision d’approximation d’ordre supérieur à celle du PFL par regroupement. Une borne supérieure sur le désaccord révèle en outre deux mécanismes de dégénérescence : une collaboration trop forte conduit au consensus (se réduisant à l’apprentissage fédéré standard), tandis que les mises à jour de poids guidées par la similarité rendent le graphe presque réductible et induisent un auto-regroupement (se réduisant à l’apprentissage fédéré par regroupement). Inspirés par ces résultats, nous proposons pFedCCG. pFedCCG préserve l’avantage en termes d’expressivité grâce à la géométrie de collaboration contrôlée (CCG) : il construit un modèle de collaboration statique basé sur la similarité et découplé de l’apprentissage, optimise une matrice de collaboration markovienne avec une distribution stationnaire prescrite via une paramétrisation réversible et une projection euclidienne, et planifie l’intensité de la collaboration afin d’éviter l’auto-regroupement. Des expériences menées dans divers contextes hétérogènes montrent des gains de personnalisation constants ainsi qu’une réduction notable de l’effondrement et de l’auto-regroupement. Le code sera disponible sur https://anonymous.4open.science/r/pFedCCG-CB88.

Wenlong Meng ⋅ Chen GONG ⋅ Terry Yue Zhuo ⋅ Fan Zhang ⋅ Kecen Li ⋅ Zheng Liu ⋅ Zhou Yang* ⋅ Chengkun Wei ⋅ Wenzhi CHEN

LIEN VERS L'ARTICLE

Les agents LLM s'appuient fortement sur des données de trajectoire de haute qualité pour orienter leurs comportements de résolution de problèmes ; or, la production de telles données nécessite une conception approfondie des tâches, la génération de modèles à grande capacité et un filtrage manuel. Malgré le coût élevé de la création de ces ensembles de données, la littérature existante a négligé la question de la protection des droits d’auteur pour les trajectoires des agents LLM. Cette lacune expose les créateurs au vol de données et rend difficile la traçabilité des utilisations abusives ou l’application des droits de propriété. Cet article présente ActHook, la première méthode de tatouage numérique spécialement conçue pour les ensembles de données de trajectoires d’agents. Inspiré des mécanismes de « hook » (accroche) en génie logiciel, ActHook intègre des actions « hook » qui sont activées par une clé d’entrée secrète et n’altèrent pas le résultat initial de la tâche. À l’instar de l’exécution d’un logiciel, les agents LLM fonctionnent de manière séquentielle, ce qui permet d’insérer des actions « hook » aux points de décision sans perturber le déroulement de la tâche. Lorsque la clé d’activation est présente, un agent LLM entraîné sur des trajectoires filigranées peut produire ces actions « hook » à un rythme nettement plus élevé, permettant ainsi une détection fiable en « boîte noire ». Des expériences menées sur des agents de raisonnement mathématique, de recherche sur le Web et d’ingénierie logicielle montrent qu’ActHook atteint une AUC de détection moyenne de 94,3 sur Qwen-2.5-Coder-7B, tout en n’entraînant qu’une dégradation négligeable des performances.

Montaser Mohammedalamen* ⋅ Kevin Roice* ⋅ Reginald McLean* ⋅ Alyssa Lefaivre Škopac*

LIEN VERS L'ARTICLE

Les agents LLM s'appuient fortement sur des données de trajectoire de haute qualité pour orienter leurs comportements de résolution de problèmes ; or, la production de telles données nécessite une conception approfondie des tâches, la génération de modèles à grande capacité et un filtrage manuel. Malgré le coût élevé de la création de ces ensembles de données, la littérature existante a négligé la question de la protection des droits d’auteur pour les trajectoires des agents LLM. Cette lacune expose les créateurs au vol de données et rend difficile la traçabilité des utilisations abusives ou l’application des droits de propriété. Cet article présente ActHook, la première méthode de tatouage numérique spécialement conçue pour les ensembles de données de trajectoires d’agents. Inspiré des mécanismes de « hook » (accroche) en génie logiciel, ActHook intègre des actions « hook » qui sont activées par une clé d’entrée secrète et n’altèrent pas le résultat initial de la tâche. À l’instar de l’exécution d’un logiciel, les agents LLM fonctionnent de manière séquentielle, ce qui permet d’insérer des actions « hook » aux points de décision sans perturber le déroulement de la tâche. Lorsque la clé d’activation est présente, un agent LLM entraîné sur des trajectoires filigranées peut produire ces actions « hook » à un rythme nettement plus élevé, permettant ainsi une détection fiable en « boîte noire ». Des expériences menées sur des agents de raisonnement mathématique, de recherche sur le Web et d’ingénierie logicielle montrent qu’ActHook atteint une AUC de détection moyenne de 94,3 sur Qwen-2.5-Coder-7B, tout en n’entraînant qu’une dégradation négligeable des performances.

Reginald McLean* ⋅ Tabitha Edith Lee ⋅ Montaser Mohammedalamen* ⋅ Kevin Roice* ⋅ Glen Berseth ⋅ Patrick Pilarski*⋅ Marlos C. Machado* ⋅ Alyssa Lefaivre Škopac* ⋅ Benjamin Rosman

LIEN VERS L'ARTICLE

Résumé :

With the rapid advancement and deployment of Agentic AI, our scientific understanding of capabilities and limitations has not kept pace, leading to cases where AI agents cause harm. We argue that many of these safety limitations are not novel problems. Instead, the safety challenges currently facing AI agents can be seen as instances of problems the reinforcement learning (RL) community has studied rigorously for decades. The core of this argument concerns the problem formulation of AI agents. AI agents are designed to solve sequential decision-making problems: problems with long-term objectives in which actions have delayed consequences. To model these types of problem, the problem is set up the problem such that the agent receives observations, feedback on its progress, and then takes actions. This is precisely the formulation of the RL problem. In this paper, we formalize the problem equivalence, which we then leverage to argue that \textbf{AI Agent safety is a reinforcement learning problem: the failure modes currently observed in deployed AI agents are structural instances of problems RL has formalized for decades, and the RL safety literature provides principled tools to diagnose and address them.}. We conclude with a call for deliberate collaboration between the RL and AI agent research communities: AI agent researchers gain access to principled frameworks, while RL researchers gain a class of real-world problems that could expose fundamental gaps in current RL benchmarks and theory.