Vi utviklet et økosystem for opptak og avspilling av 360 3D (3D60) video og lyd i dette prosjektet. Primær avspillingsplattform er VR, hvor målet er å kunne gi brukere en naturtro 3D audio-visuell opplevelse. I motsetning til state-of-the-art 360 video opplevelser som bare tillater rotasjoner av hodet, gir 3D60 brukeren mulighet til å bevege hodet/kroppen fritt og synsvinkelen i videoen vil følge med. Sammen med et 3D lydfelt gir dette en naturlig innlevelse i innholdet – det føles som man er der!
Forskningen i dette prosjektet var nødvendig fordi det ikke fantes noen gode løsninger for samtidig opptak og naturtro fremvisning av 3D audio og -video i VR-briller som bevarer dybdeopplevelsen uten artefakter.
En 3D60 prototype og en demo som viser frem potensialet av teknologien ble ferdigstilt i prosjektet. 3D60-kameraet er laget av flere separate RGB-D kameraer som er satt sammen slik at de har minimalt med overlappende synsfelt. Den automatiske postprosesseringsprogramvaren syr sammen video fra de respektive kameraene til en enhetlig 360 3D representasjon av rommet rundt kamera. En sanntids VR-avspiller er blitt utviklet for Oculus Rift VR headsett.
