NVIDIA QUEEN: een AI-model waarmee je de kijkhoek van video in realtime kunt veranderen met 350 fps
NVIDIA heeft in samenwerking met de Universiteit van Maryland een nieuw AI-model geïntroduceerd genaamd QUANTIZED Efficient ENcoding ( QUUE ) waarmee dynamische 3D-scènes snel en efficiënt kunnen worden gereconstrueerd, zelfs in realtime. Deze technologie kan worden gebruikt in free-view video streaming.
Dit is wat we weten
De speciale eigenschap van het model is de mogelijkheid om gegevens efficiënt te comprimeren met behoud van een hoge beeldkwaliteit. Hierdoor kan het worden gebruikt op gebieden waar snelheid en nauwkeurigheid belangrijk zijn: sport, geneeskunde, industrie en media. QUEEN gebruikt de 3D Gaussian Splatting methode om streaming video's te maken met een vrij gezichtspunt. Het is in staat om in minder dan 5 seconden te trainen en scènes te renderen met ongeveer 350 frames per seconde, waarbij de modelgrootte wordt gereduceerd tot 0,7 MB per frame. Dit wordt bereikt door restattributen tussen opeenvolgende frames efficiënt te coderen en een quantum sparse structuur te gebruiken om de gegevens te comprimeren. Zo ziet het er in werkelijkheid uit:
Video: NVIDIA Queen demonstratie, bron: NVIDIA
Onze QUEEN-methode is in staat om dynamische scènes vast te leggen met een hoge visuele kwaliteit en de grootte van het model te reduceren tot slechts 0,7 MB per frame, training in minder dan 5 seconden en rendering met ~350 FPS.
Het QUEEN-model wordt gepresenteerd op de NeurIPS 2024-conferentie, die op 10 december begint in Vancouver, Canada. De code voor het model wordt naar verwachting met open toegang gepubliceerd op de projectpagina. Deze ontwikkeling is een van de meer dan 50 NVIDIA werken die zullen worden gepresenteerd op NeurIPS 2024, om de prestaties van het bedrijf te laten zien op het gebied van kunstmatige intelligentie met potentiële toepassingen in simulatie, robotica en gezondheidszorg.
Video: NVIDIA Queen demonstratie, bron: NVIDIA
Waarom het belangrijk is
Met het Queen-model kun je in realtime zeer coole 3D-beelden en video's maken die vanuit verschillende hoeken bekeken kunnen worden. Stel je voor dat je de wedstrijd van je favoriete team bekijkt en kunt kiezen vanuit welke hoek je een doelpunt bekijkt! Of dat je tijdens een lezing in plaats van de gebruikelijke illustraties een echte 3D-animatie op het bord kunt zetten om uit te leggen hoe iets werkt. Dit maakt leren en entertainment nog interessanter.
