NVIDIA QUEEN: en AI-modell som lar deg endre visningsvinkelen i sanntid med 350 bilder per sekund
NVIDIA har i samarbeid med University of Maryland introdusert en ny AI-modell kalt QUANTIZED Efficient ENcoding ( QUUE ), som gjør det mulig å rekonstruere dynamiske 3D-scener raskt og effektivt, selv i sanntid. Denne teknologien kan brukes i videostrømming med fri visning.
Dette er hva vi vet
Modellens spesielle egenskap er dens evne til å komprimere data effektivt og samtidig opprettholde høy bildekvalitet. Dette gjør at den kan brukes på områder der hastighet og nøyaktighet er viktig: sport, medisin, industri og media. QUEEN bruker 3D Gaussian Splatting-metoden for å lage strømmevideoer med et fritt synspunkt. Den kan trenes opp på mindre enn 5 sekunder og gjengi scener med omtrent 350 bilder i sekundet, noe som reduserer modellstørrelsen til 0,7 MB per bilde. Dette oppnås ved å effektivt kode restattributter mellom påfølgende bilder og bruke en kvantesparsom struktur for å komprimere dataene. Slik ser det ut i virkeligheten:
Video: NVIDIA Queen-demonstrasjon, kilde: NVIDIA
QUEEN-metoden vår er i stand til å fange opp dynamiske scener med høy visuell kvalitet og redusere modellstørrelsen til bare 0,7 MB per bilde, trene på mindre enn 5 sekunder og rendere med ~350 FPS.
QUEEN-modellen vil bli presentert på NeurIPS 2024-konferansen, som begynner 10. desember i Vancouver i Canada. Koden til modellen forventes å bli publisert med åpen tilgang på prosjektsiden. Denne utviklingen er ett av mer enn 50 NVIDIA-arbeider som vil bli presentert på NeurIPS 2024, og som demonstrerer selskapets prestasjoner innen kunstig intelligens med potensielle bruksområder innen simulering, robotikk og helsetjenester.
Video: NVIDIA Queen-demonstrasjon, kilde: NVIDIA
Hvorfor det er viktig
Queen-modellen vil hjelpe deg med å lage kule 3D-bilder og -videoer i sanntid som kan sees fra ulike vinkler. Tenk deg at du kan se kampen til favorittlaget ditt og velge hvilken vinkel du vil se et mål fra! Eller under en forelesning, i stedet for de vanlige illustrasjonene, kan du vise en ekte 3D-animasjon på tavlen for å forklare hvordan noe fungerer. Dette vil gjøre læring og underholdning enda mer interessant.
