NEO NPCs : Ubisoft dévoile son premier concept de personnages et de jeu utilisant de l’IA générative

A l’occasion de la Game Developers Conference (GDC) de San Francisco, Ubisoft a dévoilé ses « NEO NPCs », son premier prototype d’IA générative (GenAI) qui transforme la manière dont les joueurs et joueuses interagissent avec les personnages non-jouables (PNJ) dans les jeux vidéo et ouvre de nouvelles voies pour un gameplay intégrant nativement des fonctionnalités d’IA générative.

Les NEO NPCs sont le résultat d’une initiative de R&D du studio Ubisoft Paris, soutenue par le département Technologies de Production d’Ubisoft. Cette initiative place la créativité et la narration au cœur de l’expérience des joueurs et joueuses et explore l’utilisation de la GenAI comme une fonctionnalité centrale de jeu par le biais de personnages plus intelligents, mais aussi bien plus interactifs et engageants. Améliorés avec de nouveaux systèmes cognitifs – tels que des dialogues non scriptés, des émotions et des animations en temps réel, de la mémoire, une conscience du contexte, et une prise de décision collaborative – les NEO NPCs présentent des capacités interactives sans précédent.

Pour les équipes créatives d’Ubisoft chargées de donner vie à ces PNJ, l’utilisation de la GenAI permet d’élever le niveau du travail créatif nécessaire à la conception narrative bien au-delà de ce qui est habituellement requis pour des interactions de PNJ traditionnellement scriptées. Chaque détail – personnalités, histoires, opinions et émotions – doit être minutieusement pensé et programmé dans le modèle de chaque NEO NPC. Chaque conversation avec un PNJ devient alors unique et réagit aux joueurs et à leurs actions, ce qui donne lieu à des expériences entièrement personnalisées et immersives.

« Mon travail créatif est bien plus profond puisque je dois travailler sur leur psychologie, leur donner une âme, avec une finesse à laquelle nous n’avions encore jamais consacré autant de temps » a déclaré Virginie Mosser, directrice narrative du projet. « En tant qu’auteure, voir mes personnages prendre vie et converser avec moi pour la première fois a été l’un des moments les plus satisfaisants et les plus touchants de ma carrière. »

Lors d’une démo à la GDC, Ubisoft a présenté le potentiel de cette nouvelle génération de PNJ intelligents à proposer un nouveau degré d’immersion, de nouvelles stratégies de jeu et d’opportunités de narration dite émergente. Dans cette expérience créative, les joueurs et joueuses doivent atteindre leurs objectifs de jeu en engageant une conversation de vive-voix avec les NEO NPCs. Les PNJ reconnaissent leurs intentions, s’adaptent émotionnellement et peuvent réagir à la discussion en temps réel, débloquant de nouveaux éléments d’histoire ou allant jusqu’à générer de nouvelles quêtes à la volée.

La capacité des NEO NPCs à percevoir leur environnement leur donne également la faculté de réagir dynamiquement à des « points d’intérêt », tels que des événements survenant dans le jeu. Cela leur permet de partager des informations en temps réel, de poser des questions sur les événements en cours, de planifier des actions ou d’offrir aux joueurs la chance d’influencer la prise de décisions. Ce dynamisme donne un aperçu des nombreux rôles que ces PNJ intelligents pourraient occuper dans les jeux, qu’il s’agisse de donner des quêtes, devenir des partenaires d’entrainement ou des IA compagnons.

« Cela pourrait être le début d’un changement de paradigme, » explique Xavier Manzanares, directeur et producteur du projet. « Le monde et le jeu sont réellement à l’écoute des joueurs et joueuses et leur répondent en temps réel. Les interactions et compétences sociales deviennent partie intégrante du jeu. Les PNJ intelligents pourraient ainsi être un complément incroyable aux PNJ traditionnels dans les jeux qui cherchent à créer des mondes encore plus immersifs et des histoires dynamiques. »

Les NEO NPCs sont nés d’une collaboration étroite entre les créateurs d’Ubisoft et des partenaires technologiques de premier plan sur l’IA générative : Nvidia et Inworld AI. La technologie d’Inworld et leur modèle de langage (LLM) permettent à l’équipe narrative d’Ubisoft de créer une identité, un style de conversation et une base de connaissance complète pour chaque PNJ, tandis que la solution Audio2Face de Nvidia ACE est utilisée pour permettre l’animation faciale des personnages en temps réel pour la première fois.

« L’IA est un outil puissant qui peut améliorer considérablement l’expérience des joueurs et joueuses en rendant les jeux plus dynamiques, immersifs et uniques », a déclaré John Spitzer, Vice-président des technologies pour les développeurs et les performances chez NVIDIA. « Nous sommes ravis de nous associer à Ubisoft sur ce projet pour exploiter NVIDIA ACE dans l’avancement des personnages numériques ».

« L’IA générative apporte des opportunités créatives sans précédent pour nos équipes et nos joueurs » ajoute Guillemette Picard, Vice-présidente senior des Technologies de Production chez Ubisoft. « C’est lorsqu’ils découvrent la valeur que la technologie peut avoir pour eux que nous commençons à voir son véritable potentiel pour transformer la façon dont les jeux sont développés et joués ».