NVIDIA QUEEN: un modelo de IA que permite cambiar el ángulo de visión del vídeo en tiempo real a 350 fps
NVIDIA, en colaboración con la Universidad de Maryland, ha introducido un nuevo modelo de IA denominado QUANTIZED Efficient ENcoding ( QUUE ) que permite reconstruir escenas 3D dinámicas de forma rápida y eficiente, incluso en tiempo real. Esta tecnología puede utilizarse en la transmisión de vídeo en abierto.
Esto es lo que sabemos
La particularidad de este modelo es su capacidad para comprimir datos de forma eficaz manteniendo una alta calidad de imagen. Esto permite utilizarlo en ámbitos en los que la velocidad y la precisión son importantes: deportes, medicina, industria y medios de comunicación. QUEEN utiliza el método 3D Gaussian Splatting para crear vídeos en streaming con un punto de vista libre. Es capaz de entrenarse en menos de 5 segundos y renderizar escenas a unos 350 fotogramas por segundo, reduciendo el tamaño del modelo a 0,7 MB por fotograma. Esto se consigue codificando eficazmente los atributos residuales entre fotogramas consecutivos y utilizando una estructura cuántica dispersa para comprimir los datos. Así se ve en la realidad:
Vídeo: Demostración de NVIDIA Queen, fuente: NVIDIA
Nuestro método QUEEN es capaz de capturar escenas dinámicas con alta calidad visual y reducir el tamaño del modelo a sólo 0,7 MB por fotograma, entrenar en menos de 5 segundos y renderizar a ~350 FPS.
El modelo QUEEN se presentará en la conferencia NeurIPS 2024, que comienza el 10 de diciembre en Vancouver (Canadá). Se espera que el código del modelo se publique con acceso abierto en la página del proyecto. Este desarrollo es uno de los más de 50 trabajos de NVIDIA que se presentarán en NeurIPS 2024, demostrando los logros de la compañía en el campo de la inteligencia artificial con potenciales aplicaciones en simulación, robótica y atención sanitaria.
Vídeo: Demostración de NVIDIA Queen, fuente: NVIDIA
Por qué es importante
El modelo Queen te ayudará a crear imágenes y vídeos 3D muy chulos en tiempo real que pueden verse desde distintos ángulos. Imagina ver el partido de tu equipo favorito y poder elegir desde qué ángulo ver un gol. O, durante una clase, en lugar de las ilustraciones habituales, una animación 3D real aparece en la pizarra para explicar cómo funciona algo. Así, el aprendizaje y el entretenimiento serán aún más interesantes.
