NVIDIA QUEEN : un modèle d'intelligence artificielle qui permet de modifier l'angle de vue d'une vidéo en temps réel à 350 images par seconde.
NVIDIA, en collaboration avec l'Université du Maryland, a présenté un nouveau modèle d'IA appelé QUANTIZED Efficient ENcoding ( QUUE ) qui permet une reconstruction rapide et efficace des scènes 3D dynamiques, même en temps réel. Cette technologie peut être utilisée pour la diffusion vidéo en clair.
Ce que nous savons
La particularité du modèle réside dans sa capacité à compresser efficacement les données tout en maintenant une qualité d'image élevée. Cela lui permet d'être utilisé dans des domaines où la vitesse et la précision sont importantes : le sport, la médecine, l'industrie et les médias. QUEEN utilise la méthode d'éclatement gaussien 3D pour créer des vidéos en continu avec un point de vue libre. Il est capable de s'entraîner en moins de 5 secondes et de rendre des scènes à environ 350 images par seconde, en réduisant la taille du modèle à 0,7 Mo par image. Ce résultat est obtenu grâce à un encodage efficace des attributs résiduels entre les images consécutives et à l'utilisation d'une structure quantique éparse pour compresser les données. Voici à quoi cela ressemble dans la réalité :
Vidéo : Démonstration de NVIDIA Queen, source : NVIDIA
Notre méthode QUEEN est capable de capturer des scènes dynamiques avec une grande qualité visuelle et de réduire la taille du modèle à seulement 0,7 Mo par image, de s'entraîner en moins de 5 secondes et d'obtenir un rendu à ~350 FPS.
Le modèle QUEEN sera présenté lors de la conférence NeurIPS 2024, qui débutera le 10 décembre à Vancouver, au Canada. Le code du modèle devrait être publié en libre accès sur la page du projet. Ce développement est l'un des 50 travaux de NVIDIA qui seront présentés à NeurIPS 2024, démontrant les réalisations de la société dans le domaine de l'intelligence artificielle avec des applications potentielles dans la simulation, la robotique et les soins de santé.
Vidéo : Démonstration de NVIDIA Queen, source : NVIDIA
Pourquoi c'est important
Le modèle Queen vous permettra de créer en temps réel des images et des vidéos en 3D très intéressantes qui peuvent être vues sous différents angles. Imaginez que vous regardiez le match de votre équipe préférée et que vous puissiez choisir l'angle de vue d'un but ! Ou encore, lors d'un cours, au lieu des illustrations habituelles, une véritable animation 3D apparaît sur le tableau pour expliquer le fonctionnement d'un objet. Cela rendra l'apprentissage et le divertissement encore plus intéressants.
