Vidéo entre les plans : Luma a appris à l'IA à « tourner » des scènes tout en conservant le jeu des acteurs
La startup Luma, connue pour ses développements dans le domaine de la vidéo IA et des modèles 3D, a présenté le nouveau modèle Ray3 Modify, qui fait ce qui manquait depuis longtemps aux outils vidéo génératifs : donner plus de contrôle et moins de chaos. La caractéristique clé du modèle est la possibilité de créer des vidéos entre des plans de départ et d'arrivée spécifiés, ainsi que de modifier l'apparence des personnages sans détruire le jeu d'acteur original.
Ce que l'on sait
Selon la société, Ray3 Modify résout l'un des principaux problèmes de la vidéo générative : la perte d'expressivité humaine. Le modèle peut conserver les mouvements, le timing, la direction du regard et l'expression émotionnelle de l'acteur, même si la scène est visuellement transformée. Cela est particulièrement important pour les studios créatifs qui souhaitent utiliser de vraies personnes tout en travaillant activement avec des effets, des décors et des apparences.
Un des scénarios d'utilisation est de remplacer l'apparence du personnage. L'utilisateur peut télécharger des images de référence, et le modèle « transférera » l'apparence sur l'acteur dans la vidéo originale, tout en conservant sa plastique et son comportement. De plus, la cohérence est maintenue : les costumes, l'apparence et l'identité du personnage ne « sautent » pas entre les scènes.
Une autre fonction importante est la gestion des transitions. En spécifiant les plans de départ et d'arrivée, le créateur peut diriger le modèle lors de la génération de la vidéo intermédiaire : contrôler le mouvement des personnages, la logique de la scène et la continuité visuelle. Cela rapproche la vidéo IA d'un outil de réalisation plutôt que d'un générateur aléatoire de clips.
Amit Jain, PDG de Luma AI, souligne que l'objectif de Ray3 Modify est de combiner le tournage réel avec la flexibilité de l'IA. Selon lui, les équipes peuvent désormais tourner une scène une fois, puis la « retourner » avec l'IA — modifier l'environnement, les costumes ou même peaufiner un épisode sans retourner sur le plateau. Le modèle est déjà disponible via la plateforme Dream Machine.
La conclusion est simple : la vidéo générative cesse d'être un jouet. Avec l'apparition de Ray3 Modify, l'IA ressemble de plus en plus à un outil de production réel — avec contrôle, répétabilité et respect du jeu des acteurs.
Source : Luma AI