Oubliez les outils d’IA qui créent des vidéos finies comme Sora. Un nouvel acteur, Cartwheel AI, vise à donner aux animateurs le contrôle sur les personnages 3D. Soutenu par Jeffrey Katzenberg, fondateur de Dreamworks, cet outil traduit les invites textuelles en données de mouvement éditables pour des logiciels standards comme Maya et Blender. Il promet un avenir où l’IA renforce les capacités des artistes, rendant l’animation plus rapide et plus accessible en travaillant avec leurs outils et flux de travail existants.
Cartwheel n’est pas conçu pour générer directement des images d’animation finales ou des vidéos. Au lieu de cela, vous utilisez des invites textuelles pour dire à l’IA ce que vous voulez qu’un rig de personnage fasse. La véritable magie est que les données créées par Cartwheel – les mouvements et poses du personnage – ne sont pas figées dans une image finale. Vous pouvez exporter ces données de mouvement vers vos logiciels d’animation 3D préférés comme Maya, Blender ou Unreal Engine. Cela signifie que vous pouvez ensuite affiner, ajuster et contrôler entièrement la performance créée par l’IA, donnant ainsi le dernier mot aux artistes.
Cette approche aborde directement une frustration majeure avec les outils de vidéo générative : le manque d’éditabilité. Andrew Carr, co-fondateur de Cartwheel et anciennement chez OpenAI, explique que cette frustration est née de l’utilisation des premiers générateurs d’images comme DALL-E. Bien qu’impressionnant, le résultat n’était que des pixels que l’on ne pouvait pas facilement modifier. Son parcours en « synthèse de programmes » (en gros, une IA qui aide à écrire du code) a fait germer l’idée : et si l’IA pouvait contrôler le code ou la structure sous-jacente de l’animation 3D au lieu de simplement générer une image ou une vidéo plate ?
Carr a expérimenté en liant son travail d’IA à Blender, en lui demandant de configurer l’éclairage ou de faire bouger des objets. Cela a fonctionné, et de manière cruciale, il pouvait toujours revenir dans la scène 3D après et faire les modifications qu’il voulait. Ce mélange de vitesse et de contrôle créatif total a été le moment déclencheur. Il a quitté OpenAI pour poursuivre cette idée. Une connexion via OpenAI l’a mené à son co-fondateur, Jonathan Jarvis, un animateur et concepteur de produits expérimenté. Ils se sont trouvés sur le principe fondamental de l' »éditabilité ». Un jour, en réfléchissant au problème d’animation le plus difficile, Jarvis a immédiatement pointé du doigt les personnages 3D – complexes, ardus, mais avec une énorme demande. Ce défi est devenu le centre d’intérêt de Cartwheel, à partir de 2022.
Les fondateurs de Cartwheel AI, Andrew Carr (à gauche) et Jonathan Jarvis, debout ensemble.
Cet accent mis sur le contrôle distingue Cartwheel des outils souvent appelés « machines à sous d’IA », où l’on tire un levier (en entrant une invite textuelle) et espère un résultat utilisable. Carr soutient que si ces outils peuvent créer des choses fantastiques, ils ne correspondent souvent pas à la vision spécifique de l’artiste. Cartwheel vise à donner aux animateurs les outils pour raconter leurs histoires, et pas seulement ce que l’IA génère.
Bien que Cartwheel soit un outil puissant, ses utilisateurs cibles initiaux sont les professionnels de l’animation – les personnes qui travaillent déjà en animation 3D. Carr note que l’industrie peine à suivre la demande, et que les outils traditionnels peuvent être lents. Cartwheel vise à accélérer considérablement ce processus, rendant potentiellement les projets de toutes tailles plus réalisables. L’espoir est qu’en facilitant la tâche principale, cela deviendra également accessible aux individus créatifs qui ne sont pas aujourd’hui des animateurs 3D experts. Carr envisage un avenir où la création d’animation sera aussi courante que la photographie sur smartphone, les experts continuant à repousser les limites. Actuellement, vous pouvez utiliser leur application web et exporter le mouvement, mais ils construisent également une API pour permettre une intégration plus directe dans les pipelines 3D.
Comment Cartwheel apprend-il à créer du mouvement ? Il est entraîné sur des données « de source éthique » – non pas extraites de vidéos en ligne aléatoires. Ils achètent et licencient des bibliothèques de motion capture, paient des animateurs pour créer des mouvements spécifiques, et effectuent même eux-mêmes du motion capture. L’IA est principalement entraînée sur ces données de motion capture. De manière cruciale, ils affinent ces données afin que le résultat ne soit pas du motion capture brut avec une image clé sur chaque image (ce qui est difficile à éditer). Au lieu de cela, Cartwheel produit des « courbes magnifiques » lisses avec de bonnes tangentes qui sont faciles à manipuler par les animateurs dans leurs logiciels.
Ce processus de nettoyage est guidé par des animateurs expérimentés, notamment les anciens réalisateurs de Pixar Cat Hicks et Neil Helm, qui ont rejoint l’équipe Cartwheel. Ces vétérans, avec des années d’expérience dans l’utilisation d’outils de production sophistiqués, éclairent le développement pour garantir que Cartwheel ne soit pas juste un jouet amusant mais un puissant instrument professionnel. Par exemple, sur la base de leurs retours, Cartwheel a été construit dès le départ pour inclure des fonctionnalités professionnelles comme des rigs IK/FK complets (Cinématique Inverse/Cinématique Directe), qui sont essentiels pour les animateurs contrôlant des personnages numériques. Ce type d’aperçu pratique élève l’outil au-delà d’une simple démonstration de la capacité de l’IA.
Modèle de personnage 3D affiché dans l'interface logicielle d'animation Cartwheel AI.
Au-delà de la génération de mouvement à partir de texte, Cartwheel construit une bibliothèque de mouvements contenant un mélange de données de motion capture générées par l’IA et nettoyées. L’équipe observe que les animateurs veulent simplement du grand mouvement, quelle que soit son origine. Une fonctionnalité majeure à venir est le téléchargement de références vidéo. Les utilisateurs pourront s’enregistrer ou téléverser une vidéo existante pour extraire du mouvement 3D, similaire à une forme moderne de rotoscopie. Cela crée une approche à trois volets : générer du mouvement avec du texte, rechercher dans la bibliothèque, ou téléverser une vidéo de référence.
GIF animé montrant divers mouvements fluides de personnages 3D générés ou affinés par Cartwheel AI.
Une critique courante de l’art généré par l’IA est sa tendance à l’uniformité ou à un aspect générique. Cartwheel s’efforce de contrer cela. Bien que l’entraînement initial implique de grands ensembles de données, ils développent une étape de « post-entraînement » qui utilise de petits ensembles sélectionnés de mouvements stylisés de haute qualité pour aider le modèle à capturer la vie, l’anticipation et le caractère unique dans son résultat. Cela reste un domaine de recherche actif, mais les premiers résultats sont prometteurs.
Ils visent également à permettre aux utilisateurs d’ajuster le style du mouvement généré. Pour les studios ayant une histoire d’animation dans un style particulier, ils peuvent travailler avec Cartwheel pour créer des modèles personnalisés entraînés sur leurs données de mouvement uniques. Pour les utilisateurs individuels, une fonctionnalité sera bientôt disponible qui vous permettra de téléverser seulement quelques mouvements de référence (comme un cycle de marche ou une pose au repos), et l’IA générera les mouvements subséquents dans un style plus proche de ces exemples. Cela pourrait même permettre à un studio d’animation 2D de téléverser le mouvement de leurs personnages classiques et de générer un mouvement 3D qui correspond à leur esthétique établie.
L’impact potentiel sur les emplois dans l’animation est une préoccupation importante pour de nombreux artistes. Jeffrey Katzenberg, l’un des investisseurs de Cartwheel, a même suggéré que des longs métrages d’animation pourraient être réalisés avec une fraction de la main-d’œuvre actuelle. Carr reconnaît ces craintes mais offre une perspective différente. Il croit qu’il existe une demande massive et inexploitée pour l’animation qui est actuellement trop coûteuse à satisfaire. En rendant les outils d’animation plus accessibles et plus rapides, il soutient que le volume global d’animation créée augmentera considérablement. Il établit un parallèle avec Photoshop, qui n’a pas éliminé les graphistes mais a donné à plus de gens les moyens de faire du design et a augmenté la quantité de travail de design effectué dans divers domaines. L’objectif de Cartwheel, selon Carr, est de renforcer les capacités des animateurs individuels et des équipes plus petites, en déplaçant une partie du pouvoir actuellement détenu par les grands studios vers les créateurs.
En fin de compte, Cartwheel construit un outil axé sur le renforcement des capacités des artistes en leur offrant rapidité et contrôle sur les données de mouvement générées par l’IA. Ils recherchent activement les retours des animateurs pour façonner le développement de l’outil, convaincus qu’une communication étroite avec la communauté artistique est essentielle à son succès et à son intégration dans le flux de travail de l’animation.
Explorez du contenu connexe sur l’IA dans les domaines créatifs ou l’avenir de la technologie d’animation.