Lors de la conférence Upper Bound de cette année, des chercheurs, des ingénieurs et des entrepreneurs en IA se sont réunis pour partager les dernières avancées et les opportunités qu'offre l'intelligence artificielle dans leurs domaines. De nombreuses sessions ont exploré la manière dont l'apprentissage automatique transforme les activités créatives, en offrant de nouveaux outils aux conteurs et aux concepteurs de jeux vidéo, et en créant des expériences plus immersives et attrayantes pour le public.

IA créative : l'imagination à l'épreuve des lentilles

Max Kreminski, directeur de Midjourneya profité de sa session intitulée "Creative AI : Lensing the Imagination" pour faire valoir que de meilleures interfaces pourraient permettre une collaboration plus profonde entre les humains et l'intelligence artificielle.

Selon M. Kreminski, les grands modèles linguistiques actuels sont assez performants pour répondre directement aux invites que les utilisateurs introduisent dans le système. Mais ils ont du mal à créer des contenus divergents qui partent dans de nouvelles directions créatives. En outre, les gens ont tendance à utiliser des messages initiaux courts, qui finissent par produire des réponses génériques de la part du LLM.

"Lorsque vous êtes confronté à une zone de texte vierge, vous pensez à certaines choses par défaut. Les gens ont donc tendance à choisir des mots comme "chat pirate". On voit beaucoup de mondes de chats pirates", explique-t-il

Cela peut conduire à une plus grande homogénéité des idées produites par les personnes qui utilisent les LLM comme ChatGPT en tant qu'outil créatif, tout en obtenant de meilleurs résultats sur d'autres aspects de la créativité, tels que la flexibilité et l'élaboration. 

Kreminski suggère qu'il s'agit d'un problème lié à la théorie de l'information : en utilisant des messages-guides courts, les utilisateurs fournissent une petite quantité de données créatives au système, de sorte que la plupart des idées doivent provenir des données sur lesquelles le LLM est formé. Cela donne également à l'utilisateur l'impression de ne pas avoir la propriété créative de l'idée. Lorsque des personnes introduisent des données similaires dans des modèles similaires, elles obtiennent des résultats similaires en retour. 

Selon M. Kreminski, il y a plusieurs façons d'aborder ce problème. L'une d'entre elles consiste à concevoir l'interface de l'outil de manière à obtenir une contribution plus créative de la part de la personne qui l'utilise, afin d'inciter l'utilisateur à penser différemment et à approfondir sa propre intention créative. 

Il pourrait s'agir de décomposer le processus génératif en unités plus petites, ce qui permettrait à l'utilisateur de prendre des décisions plus fréquentes et plus petites pour affiner le travail. D'autres techniques consistent à demander explicitement au modèle de poser des questions ouvertes à l'utilisateur afin d'encourager des contributions plus diverses et de générer de petites variations parmi lesquelles l'utilisateur peut choisir.  

Il a également souligné que si la plupart des messages-guides du programme LLM sont écrits, ce n'est pas la seule interface possible. Il a montré quelques interfaces expérimentales avec lesquelles ils ont joué, par exemple en demandant à l'utilisateur de dessiner des représentations visuelles de l'histoire et de l'évolution des personnages ou de déplacer des objets dans un espace pour représenter les relations entre les personnages, ce qui offre de nouvelles façons d'ajouter des idées au système créatif.

"Nous devons construire des systèmes interactifs qui suscitent l'intention", explique-t-il. "Pour y parvenir, nous avons besoin d'une nouvelle interface utilisateur, d'une nouvelle IA en arrière-plan et de nouveaux modèles d'évaluation.

Infinite Ripples : Présenter le comportement génératif du stade alpha dans les jeux

Brian Tanner et Alex Kearney, cofondateurs de la société Artificial Agencyont présenté leurs travaux sur l'utilisation de l'IA agentique pour rendre les jeux vidéo plus immersifs et plus vivants.

Lors de leur session intitulée "Infinite Ripples : Showcasing Alpha-Stage Generative Behaviour in Games", ils ont présenté la technologie qui, ils l'espèrent, façonnera l'avenir de la manière dont les gens interagiront avec les jeux vidéo.

"Nous imaginons que les jeux de demain ne seront pas scénarisés, mais qu'ils seront vivants, façonnés par l'IA et personnalisés.  

Leurs efforts se sont principalement concentrés sur deux applications de l'IA agentique : la construction de personnages plus approfondis et la création de "directeurs de jeu" capables de modifier dynamiquement les variables de l'univers du jeu afin d'accroître la tension et le plaisir du joueur. 

Tanner et Kearney ont insisté sur la nécessité de combiner la "pensée du jeu" et la "pensée de l'IA". Alors que la recherche en IA s'efforce souvent d'élaborer des algorithmes généraux et simplifiés, la conception des jeux repose sur des couches de systèmes interconnectés et nécessite souvent la planification d'un nombre incalculable de scénarios spécifiques. Leur approche permet aux agents d'IA d'accéder aux systèmes du jeu de la même manière qu'un concepteur, ce qui permet un raisonnement plus abstrait.

Alors que de nombreuses utilisations de l'IA reposent sur le fait de partir de zéro pour apprendre son environnement par essais et erreurs, cette approche ne fonctionne pas toujours pour la construction de jeux immersifs. Les premières erreurs commises par un agent qui apprend son environnement peuvent éloigner le joueur de l'expérience. Les deux chercheurs ont constaté que le fait de commencer par donner aux agents un certain contexte sur le monde qui les entoure et sur leur capacité d'influence permettait d'obtenir de bien meilleurs résultats. 

M. Tanner a également recommandé de se décharger des problèmes déjà résolus, tels que la recherche de chemin par les agents, qui sont déjà intégrés dans les moteurs de jeu sur lesquels les jeux vidéo sont construits. Cela permet à l'agence artificielle de se concentrer sur la construction des comportements complexes pilotés par des agents qui alimenteront la prochaine génération de jeux.

Tanner et Kearney ont conclu la session avec plusieurs démonstrations montrant la capacité de la technologie à comprendre le monde du jeu qui l'entoure, ainsi que la pensée abstraite. Les démonstrations incluaient des agents capables d'effectuer des tâches à partir d'invites écrites en langage naturel, et un directeur de jeu capable de créer un niveau de jeu de base à partir des demandes de l'utilisateur.

La démo finale présentait plusieurs de ces concepts combinés en un seul système - un directeur de jeu qui contrôlait un bureau simulé avec des personnages de collègues. Le directeur pouvait créer des problèmes dynamiques pour les personnages, comme un disjoncteur qui coupe l'électricité dans le bureau, que les personnages pouvaient raisonner et résoudre - rien de tout cela n'étant préprogrammé.

Ils ont indiqué qu'ils collaboraient désormais avec des sociétés de jeux intéressées par la technologie, dans le but de créer de nouveaux genres de jeux qui ne sont pas possibles avec les méthodes actuelles.

"Nous construisons les jeux de demain avec la technologie d'aujourd'hui", explique M. Tanner.

Générateurs itératifs pour la génération de contenu procédural

Dans sa session, Ahmed Khalifa, conférencier à l'Institut des jeux numériques de l'Université de Malte, a expliqué que les jeux numériques sont un élément essentiel de l'économie. Institut des jeux numériques de l'Université de Maltea expliqué comment différents types d'IA peuvent être utilisés dans les domaines créatifs. Il a établi une distinction entre les générateurs "one-shot", qui créent une œuvre complète à partir d'un seul message, et les générateurs "itératifs", qui sont conçus pour apporter de petites modifications spécifiques à une œuvre existante.

Par exemple, un générateur "one-shot" peut créer une image complète d'une "chaise avocat", tandis qu'un générateur itératif peut prendre une photo et changer la couleur de la chemise d'une personne sans modifier quoi que ce soit d'autre. Cela permet une série de petits ajustements, donnant au créateur un contrôle plus fin. 

Bien que la génération procédurale soit utilisée dans les jeux depuis longtemps, Khalifa note qu'elle présente des défis uniques. Les jeux vidéo ont une très faible tolérance aux erreurs ; une petite erreur dans une image générée peut être ignorée, mais un défaut dans un niveau de jeu généré peut le rendre injouable. Étant donné que les générateurs itératifs apportent de petites modifications et travaillent avec du contenu existant, ils constituent des outils efficaces pour compléter le travail des concepteurs humains plutôt que de les remplacer.  

Khalifa considère ces générateurs comme un outil de collaboration.

"Vous ne voulez pas que votre IA prenne le contrôle de tout... en ayant un générateur itératif, elle peut très bien fonctionner avec les humains".  

En outre, parce qu'ils s'entraînent sur les changements entre les versions, ils peuvent être efficacement entraînés avec les petits ensembles de données typiques de la conception de jeux. Une poignée de niveaux pourrait être utilisée pour créer des millions de points de données, ce qui permettrait de rendre les modèles beaucoup plus robustes.

Khalifa a conclu en soulignant que les générateurs itératifs fonctionnent très bien dans le cadre d'une collaboration avec des humains dans le processus de création, et qu'ils constituent un outil très puissant pour les concepteurs de jeux.

Khalifa a conclu en exhortant les concepteurs à essayer les générateurs itératifs dans leurs processus.

"Ils sont très amusants, il y a beaucoup de problèmes très difficiles à résoudre, et vous devriez vraiment essayer de travailler avec eux.