NVIDIA QUEEN: ein KI-Modell, mit dem Sie den Betrachtungswinkel von Videos in Echtzeit bei 350 fps ändern können
NVIDIA hat in Zusammenarbeit mit der University of Maryland ein neues KI-Modell namens QUANTIZED Efficient ENcoding ( QUUE ) vorgestellt, das eine schnelle und effiziente Rekonstruktion von dynamischen 3D-Szenen, sogar in Echtzeit, ermöglicht. Diese Technologie kann im Free-View-Video-Streaming eingesetzt werden.
Was bekannt ist
Die Besonderheit des Modells ist seine Fähigkeit, Daten effizient zu komprimieren und dabei eine hohe Bildqualität beizubehalten. Dadurch kann es in Bereichen eingesetzt werden, in denen Geschwindigkeit und Genauigkeit wichtig sind: Sport, Medizin, Industrie und Medien. QUEEN verwendet die 3D-Gaussian-Splatting-Methode, um Streaming-Videos mit freiem Blickwinkel zu erstellen. Es ist in der Lage, in weniger als 5 Sekunden zu trainieren und Szenen mit etwa 350 Bildern pro Sekunde zu rendern, wobei die Modellgröße auf 0,7 MB pro Bild reduziert wird. Erreicht wird dies durch die effiziente Kodierung von Restattributen zwischen aufeinanderfolgenden Bildern und die Verwendung einer Quantum-Sparse-Struktur zur Komprimierung der Daten. So sieht es in der Realität aus:
Video: NVIDIA Queen-Demonstration, Quelle: NVIDIA
Unsere QUEEN-Methode ist in der Lage, dynamische Szenen mit hoher visueller Qualität zu erfassen und die Modellgröße auf nur 0,7 MB pro Frame zu reduzieren, in weniger als 5 Sekunden zu trainieren und mit ~350 FPS zu rendern.
Das QUEEN-Modell wird auf der Konferenz NeurIPS 2024 vorgestellt, die am 10. Dezember in Vancouver, Kanada, beginnt. Der Code des Modells wird voraussichtlich mit offenem Zugang auf der Projektseite veröffentlicht werden. Diese Entwicklung ist eine von mehr als 50 NVIDIA-Arbeiten, die auf der NeurIPS 2024 vorgestellt werden und die Errungenschaften des Unternehmens auf dem Gebiet der künstlichen Intelligenz mit potenziellen Anwendungen in der Simulation, Robotik und im Gesundheitswesen demonstrieren.
Video: NVIDIA Queen-Demonstration, Quelle: NVIDIA
Warum das wichtig ist
Mit dem Queen-Modell können Sie sehr coole 3D-Bilder und -Videos in Echtzeit erstellen, die aus verschiedenen Blickwinkeln betrachtet werden können. Stellen Sie sich vor, Sie sehen ein Spiel Ihrer Lieblingsmannschaft und können wählen, aus welchem Winkel Sie ein Tor sehen wollen! Oder während einer Vorlesung erscheint anstelle der üblichen Illustrationen eine echte 3D-Animation an der Tafel, um zu erklären, wie etwas funktioniert. Das macht das Lernen und die Unterhaltung noch interessanter.
