NVIDIA QUEEN: en AI-model, der giver dig mulighed for at ændre synsvinklen på video i realtid med 350 fps
NVIDIA har i samarbejde med University of Maryland introduceret en ny AI-model kaldet QUANTIZED Efficient ENcoding ( QUUE ), der giver mulighed for hurtig og effektiv rekonstruktion af dynamiske 3D-scener, selv i realtid. Denne teknologi kan bruges i videostreaming med frit udsyn.
Her er, hvad vi ved
Modellens særlige funktion er dens evne til effektivt at komprimere data og samtidig opretholde en høj billedkvalitet. Det gør det muligt at bruge den på områder, hvor hastighed og nøjagtighed er vigtig: sport, medicin, industri og medier. QUEEN bruger 3D Gaussian Splatting-metoden til at skabe streamingvideoer med et frit synspunkt. Den er i stand til at træne på mindre end 5 sekunder og gengive scener med ca. 350 billeder i sekundet, hvilket reducerer modelstørrelsen til 0,7 MB pr. billede. Dette opnås ved effektivt at kode restattributter mellem på hinanden følgende billeder og bruge en kvantesparsom struktur til at komprimere dataene. Sådan ser det ud i virkeligheden:
Video: NVIDIA Queen-demonstration, kilde: NVIDIA
Vores QUEEN-metode er i stand til at indfange dynamiske scener med høj visuel kvalitet og reducere modelstørrelsen til kun 0,7 MB pr. billede, træne på mindre end 5 sekunder og gengive ved ~350 FPS.
QUEEN-modellen vil blive præsenteret på NeurIPS 2024-konferencen, som begynder den 10. december i Vancouver, Canada. Koden til modellen forventes at blive offentliggjort med åben adgang på projektsiden. Denne udvikling er et af mere end 50 NVIDIA-arbejder, der vil blive præsenteret på NeurIPS 2024, og som demonstrerer virksomhedens resultater inden for kunstig intelligens med potentielle anvendelser inden for simulering, robotteknologi og sundhedspleje.
Video: NVIDIA Queen-demonstration, kilde: NVIDIA
Hvorfor det er vigtigt
Queen-modellen vil hjælpe dig med at skabe meget seje 3D-billeder og -videoer i realtid, som kan ses fra forskellige vinkler. Forestil dig, at du ser dit favoritholds kamp og kan vælge, hvilken vinkel du vil se et mål fra! Eller under en forelæsning kan du i stedet for de sædvanlige illustrationer vise en ægte 3D-animation på tavlen for at forklare, hvordan noget fungerer. Det vil gøre læring og underholdning endnu mere interessant.
