La representación foveada es una técnica de representación que utiliza un rastreador ocular integrado con un casco de realidad virtual para reducir la carga de trabajo de representación al reducir en gran medida la calidad de la imagen en la visión periférica (fuera de la zona contemplada por la fóvea ). [1] [2]
Una variante menos sofisticada llamada renderizado foveado fijo no utiliza seguimiento ocular y en su lugar asume un punto focal fijo. [3] [4]
Historia
Las investigaciones sobre la renderización foveada se remontan al menos a 1991. [5]
En Tech Crunch Disrupt SF 2014, Fove presentó un auricular con renderizado foveado. [6] A esto le siguió una exitosa campaña Kickstarter en mayo de 2015. [7]
En la CES 2016 , SensoMotoric Instruments (SMI) hizo una demostración de un nuevo sistema de seguimiento ocular de 250 Hz y una solución de renderizado foveado funcional. Fue el resultado de una asociación con el fabricante de sensores de cámara Omnivision , que proporcionó el hardware de cámara para el nuevo sistema. [8] [9]
En julio de 2016, Nvidia demostró durante SIGGRAPH un nuevo método de renderizado foveado que se afirma que es invisible para los usuarios. [1] [10]
En febrero de 2017, Qualcomm anunció su kit de desarrollo de realidad virtual (VRDK) Snapdragon 835, que incluye soporte de renderizado foveado llamado Adreno Foveation. [11] [12]
El 7 de enero, durante el CES 2019, HTC anunció un próximo auricular de realidad virtual llamado Vive Pro Eye que incluye seguimiento ocular y soporte para renderizado foveado. [13] [14]
En diciembre de 2019, el SDK Oculus Quest de Facebook brindó a los desarrolladores acceso a una representación foveada fija dinámica, lo que permite cambiar la variación en el nivel de detalle sobre la marcha a través de una API. [15]
El 4 de enero de 2022, Sony anunció que su secuela de PlayStation VR incluirá seguimiento ocular y renderizado foveado. [16]
El 5 de junio de 2023, Apple anunció que el casco de realidad extendida Apple Vision Pro incluye renderizado foveal dinámico. [17]
Usar
Según el científico jefe Michael Abrash de Oculus , el uso de la representación foveada junto con la representación dispersa y la reconstrucción de imágenes mediante aprendizaje profundo tiene el potencial de requerir un orden de magnitud menos de píxeles para ser representados en comparación con una imagen completa. [18] Posteriormente, estos resultados se han demostrado y publicado. [19]
La representación foveada con seguimiento ocular se demostró en productos como los auriculares Meta Quest Pro (lanzado en 2022) y Sony PlayStation VR2 (lanzado en 2023). [20]
Véase también
Referencias
- ^ ab Parrish, Kevin (22 de julio de 2016). «Nvidia planea demostrar que un nuevo método mejora la calidad de imagen en la realidad virtual». Digital Trends . Consultado el 2 de febrero de 2017 .
- ^ "Entendiendo el renderizado foveado". Sensics . 2016-04-11. Archivado desde el original el 2017-12-01 . Consultado el 2017-02-04 .
- ^ Carbotte, Kevin (30 de marzo de 2018). "¿Qué es el renderizado foveado fijo y por qué es importante?". Tom's Hardware . Consultado el 9 de septiembre de 2019 .
- ^ Orland, Kyle (21 de marzo de 2016). «Cómo Valve consiguió que la realidad virtual funcionara de forma aceptable en una tarjeta gráfica de hace cuatro años». Ars Technica . Consultado el 9 de septiembre de 2019 .
- ^ Wang, Lili; Shi, Xuehuai; Liu, Yi (2023). "Representación foveada: un estudio de vanguardia". Computational Visual Media . 9 (2): 195–228. arXiv : 2211.07969 . doi :10.1007/s41095-022-0306-4. S2CID 253523241.
- ^ "FOVE utiliza el seguimiento ocular para hacer que la realidad virtual sea más inmersiva". TechCrunch . 10 de septiembre de 2014 . Consultado el 6 de febrero de 2019 .
- ^ "FOVE: el primer casco de realidad virtual con seguimiento ocular del mundo". Kickstarter . Consultado el 6 de febrero de 2019 .
- ^ Mason, Will (15 de enero de 2016). "El seguimiento ocular de 250 Hz y la renderización foveada de SMI son reales y el costo puede sorprenderlo". UploadVR . Consultado el 2 de febrero de 2017 .
- ^ Mason, Will (15 de enero de 2016). "El seguimiento ocular de 250 Hz y la renderización foveada de SMI son reales y el costo puede sorprenderlo". UploadVR . Consultado el 18 de junio de 2020 .
- ^ "NVIDIA se asocia con SMI para desarrollar una innovadora técnica de renderizado que mejora la realidad virtual". Nvidia . 21 de enero de 2016 . Consultado el 2 de febrero de 2017 .
- ^ "Qualcomm presenta el kit de desarrollo de realidad virtual Snapdragon 835". Qualcomm . 2017-02-23 . Consultado el 2021-06-01 .
- ^ "Fovación en los motores de juego". vr.tobii.com . Consultado el 1 de junio de 2021 .
- ^ Statt, Nick (7 de enero de 2019). «HTC anuncia el nuevo auricular de realidad virtual Vive Pro Eye con seguimiento ocular nativo». The Verge . Consultado el 14 de enero de 2019 .
- ^ Meng, Xiaoxu; Du, Ruofei; Zwicker, Matthias; Varshney, Amitabh (1 de julio de 2018), "Kernel Foveated Rendering", Actas de la ACM sobre gráficos informáticos y técnicas interactivas , 1 : 1–20, doi :10.1145/3203199, S2CID 4899582 , consultado el 1 de julio de 2018
- ^ "Oculus Quest obtiene renderizado dinámico fijo foveado". VentureBeat . 2019-12-22 . Consultado el 2020-01-21 .
- ^ "PlayStation VR2 y el mando PlayStation VR2 Sense: la próxima generación de juegos de realidad virtual en PS5". 4 de enero de 2022.
- ^ "Descubre visionOS". 7 de junio de 2023.
- ^ Oculus (26 de septiembre de 2018), Oculus Connect 5 | Keynote Day 01 , consultado el 30 de septiembre de 2018
- ^ Kaplanyan, Anton (15 de mayo de 2020). «DeepFovea: renderizado AR/VR inspirado en la visión humana». YouTube . Consultado el 15 de mayo de 2020 .
- ^ "PSVR 2 Foveated Rendering ofrece un rendimiento 3,6 veces más rápido - Unity". UploadVR . 2022-04-27 . Consultado el 2022-04-27 .
Enlaces externos
- Libro blanco de Microsoft sobre renderizado foveado