Navigation autonome de ballons stratosphériques par apprentissage par renforcement

Résumé :

La navigation efficace d'un ballon à haute pression dans la stratosphère 1 nécessite l'intégration d'une multitude d'indices, tels que la vitesse du vent et l'élévation du soleil, et le processus est compliqué par des erreurs de prévision et des mesures de vent éparses. Associés à la nécessité de prendre des décisions en temps réel, ces facteurs excluent l'utilisation de techniques de contrôle conventionnelles 2, 3. Nous décrivons ici l'utilisation de l'apprentissage par renforcement 4, 5 pour créer un contrôleur de vol très performant. Notre algorithme utilise l'augmentation des données 6, 7 et une conception auto-correctrice pour surmonter le défi technique clé de l'apprentissage par renforcement à partir de données imparfaites, qui s'est avéré être un obstacle majeur à son application aux systèmes physiques 8. Nous avons déployé notre contrôleur pour stationner des ballons à superpression Loon à plusieurs endroits dans le monde, y compris une expérience contrôlée de 39 jours au-dessus de l'océan Pacifique. Les analyses montrent que le contrôleur surpasse ...