Enterrado dentro Vision Pro de Apple por 3.499 dólares Los cascos de realidad virtual son una característica que me sorprende continuamente, pero probablemente nunca hayas oído hablar de ellos. La característica, llamada Personasinvolucra a dos o más usuarios, todos usando Vision Pros, conversando entre sí en tiempo real pero como réplicas virtuales.
Ahora fuera de la versión beta, Personas son parte del sistema de avatar de Apple para Vision Pro, creando réplicas de usted mismo a través de un escaneo fotográfico en 3D.
Hacerme un escaneo no es algo nuevo. Hace unos cinco años, probé la telepresencia con avatares escaneados en 3D en gafas Nreal AR con una empresa llamada Spatial. He podido echar un vistazo a los avatares de códec realistas de Meta. Exploré la telepresencia de avatares de dibujos animados con Microsoft en HoloLens. E incluso me he escaneado en todo tipo de extraños deepfakes de IA usando la aplicación de teléfono Sora de OpenAI.
Aún así, nadie está haciendo nada con auriculares o gafas de realidad virtual o realidad aumentada tan avanzados como los Vision Personas de Apple. Y no hemos visto el comienzo de lo bien que podrían ponerse las cosas.
Para obtener más información, me puse un auricular M5 Vision Pro y entré en FaceTime para una charla exclusiva con el director senior de Vision Products Group de Apple, Jeff Norris, y el director senior de marketing de productos, Steve Sinclair. Los dos aparecieron como Personas en la oficina de mi casa. Entramos como fantasmas cuando empezó la reunión, cara a cara, por así decirlo. Después de unos minutos, sentí como si estuviéramos pasando tiempo juntos en persona.
Apple no habla del futuro. Pero Norris y Sinclair explicaron algunas de las geniales tecnologías 3D que hacen que Personas parezcan tan realistas. Mientras conversábamos, imaginé que se podrían realizar escaneos similares en otros lugares además de Vision Pro, como tal vez en su iPhone, que sería accesible para más personas.
Las Personas de Apple parecen asombrosas fuera de los auriculares, pero no por dentro.
La telepresencia real es magia cara
Es difícil encontrar otra persona que tenga un Vision Pro, pero cuando yo lo tengo, la extraña sensación de que un fantasma entra a mi casa es como magia. VisionOS de Apple ha evolucionado para permitir la colaboración entre Personas, flexionando espacios virtuales para que hasta cinco personas vean y compartan objetos virtuales y aplicaciones juntas. Varias personas en la misma habitación que usan auriculares Vision pueden colaborar con Personas que también pueden transmitir de forma remota.
He soñado con esa idea de telepresencia con hologramas de Star Wars, similar a Tony Stark, durante años. Básicamente está aquí. Simplemente está rodeado de hardware muy caro.
Las gafas inteligentes aún no han podido manejar la carga de avatares como este, aunque es posible que las gafas AR de Snap y otros lo intenten pronto. Mi pregunta para Apple es: ¿Qué tecnología está haciendo que Personas existan? ¿Podría aparecer en algún otro lugar?
La tecnología de escaneo de salpicaduras utiliza el aprendizaje automático
En nuestra reunión, Norris explica que la tecnología Persona utiliza salpicaduras gaussianas para crear escaneos faciales en 3D sorprendentemente convincentes. La dispersión gaussiana es la tecnología clave para muchas aplicaciones 3D en este momento, a menudo aplicada al escaneo de objetos o entornos a gran escala. La aplicación Hyperscape Capture de Meta en Quest puede escanear habitaciones enteras y convertirlas en espacios transitables en 3D en realidad virtual, por ejemplo. Teje una imagen o un paisaje en 3D a partir de una serie de imágenes en 2D utilizando IA.
Lo que hace que Personas sea único es el enfoque en escanearse a sí mismo en lugar de escanear su entorno. Usando VisionOS 26, Norris me mostró los cambios clave de las versiones anteriores de Persona. Los renderizados ahora pueden mostrar mayores detalles en múltiples ángulos y capturar detalles como joyas y pestañas. Los cuerpos y las caras se escanean juntos, lo que hace que el renderizado parezca más fluido.
“Hay aprendizaje automático involucrado, pero no mucha gente realmente se da cuenta de que es un concierto de redes que se unen”, dice Norris. “Los contamos, son más de una docena, pero en realidad redujimos el número cuando pasamos a esta nueva versión de Personas”.
Mencioné la posibilidad de escanear habitaciones en Vision Pro en el futuro (aplicaciones como Scaniverse y Polycam ya muestran escaneos 3D en auriculares). Norris dice que Apple ya está aplicando salpicaduras gaussianas a las conversiones espaciales 3D de fotos, que ahora parecen extrañamente inmersivas en los auriculares. Entonces, ¿qué sigue?
Los auriculares Vision Pro pueden colaborar en el mismo espacio y incorporar Personas desde otro lugar al mismo tiempo. Sólo necesitas tener uno de esos auriculares para participar en la experiencia espacial.
No se necesita mucho para capturar las fotografías necesarias. ¿Se podría hacer en iPhones?
Aunque el escaneo de Persona se realiza a través de los auriculares de Vision Pro, lo que requiere que levante los auriculares para girar la cabeza y escanear, no es un proceso que requiera que use los sensores de Vision Pro de manera extensiva.
“Solo necesitamos un puñado de imágenes cuando registramos tu Persona”, me dice Norris. “Eso incluye algunas expresiones faciales para ayudar a nuestras redes a comprender cómo se mueve tu cara cuando hablas y sonríes. Y eso es todo”.
Me pregunto si un iPhone podría eventualmente escanear una Persona, lo cual me resultaría mucho más fácil que usar Vision Pro. Norris no responde eso directamente.
“Es interesante imaginar diferentes maneras de lograrlo”, responde. “Pero en este momento, nos encanta que sea independiente del dispositivo y que todo el procesamiento ocurra en el dispositivo. Ninguna de estas imágenes tiene que ir a ninguna parte para que eso suceda”.
Yo en mi VisionOS Persona durante mi primera demostración de la nueva versión en la WWDC a principios de este año.
¿Qué podría significar esto para nuestro futuro sentido de identidad virtual?
La única Persona que escaneo y vinculo a mi ID de Apple en Vision Pro parece estar diseñada para actuar como un mapeo uno a uno para mi yo virtual. Es lo más parecido que tiene Apple a un sustituto del uso de una cámara para transmitir mi rostro real, lo cual no se puede hacer porque uso auriculares.
Las empresas de inteligencia artificial ya están escaneando y generando versiones virtuales de personas en un número cada vez mayor de deepfakes, tanto intencionales como no. Aplicación Sora de OpenAI es el ejemplo más destacado ahora y utiliza un tipo similar de tecnología de escaneo facial en iPhones para generar un “Cameo” de mí mismo que puedo prestar a otros.
Le pregunto a Norris dónde se puede trazar la línea en el futuro. Deja claro que Apple quiere representar de forma clara y segura a una persona en tiempo real, no como una reproducción.
“Hemos enfocado a Personas en ese objetivo de representación auténtica”, dice. “Estamos tratando de conceder lo que creo que es un deseo humano fundamental, que es: ‘Ojalá estuvieras aquí’. Eso comienza tratando de ser fieles a nuestra apariencia, a cómo nos movemos y a cómo expresamos nuestras emociones mientras hablamos”.
¿Puedo tener más de una Persona o más personalización?
En este momento, Apple te limita a usar un escaneo de Persona a la vez, lo cual me sorprende. Me encantaría tener una variedad de avatares de Scott Stein en diferentes estados de ánimo o simplemente con ropa diferente. Si bien Apple no explora la transformación de la identidad mediante escaneos, aprecio las opciones de gafas realistas y me encantaría poder agregar más accesorios.
“La gente puede volver a inscribirse o simplemente ponerse una camiseta diferente e inscribirse nuevamente”, dice Norris. “Entiendo totalmente por qué eso sería algo que querríamos. Pero ahora mismo nos estamos concentrando en uno a la vez”.
Intenté usar avatares escaneados con gafas Nreal AR en 2020 usando una aplicación de Spatial que podía usar teléfonos y auriculares juntos. ¿Apple también hará lo mismo?
¿Personas alguna vez se extendería fuera de Vision Pro?
Ya estoy pensando en más opciones para Personas, no sólo para los costosos auriculares de Apple, sino también para iPhones y otros dispositivos.
¿Y si pudieran ser sustitutos personales de nuestras llamadas FaceTime? Ya puedo llamar a mi esposa por FaceTime desde Vision Pro y ella puede ver mi Persona 2D allí. Ella se ríe de ello porque se siente algo sobrenatural. Si Apple ya ha abierto tanto la puerta con Animoji en FaceTime, ¿por qué no Personas también?
Norris insiste en que Personas funcionan mejor con los auriculares Vision, con lo cual estoy de acuerdo. Las representaciones parecen más convincentes, de alguna manera. Cuando nos ubicamos en entornos que ya están compuestos a medias por cosas virtuales, estas identidades escaneadas en 3D parecen más naturales. Pero la distancia física y las expresiones corporales también pueden ocurrir en el espacio. Las personas pueden salir de su caja y flotar como torsos, manos y caras.
“Puedo contar un chiste y lo entenderás porque verás mi lenguaje corporal y mis expresiones faciales que no ves en una pantalla bidimensional”, dice Sinclair. “Aquí estamos juntos en la habitación y se siente como si realmente estuviéramos aquí”.
Mientras su Persona está junto a mi escritorio desordenado en esa forma virtual, me doy cuenta de que tiene razón.
Apple ya está recibiendo comentarios al respecto para usos comerciales. “También escuchamos sobre esto en el sector de la atención médica”, dice Norris. “Médicos que crean procedimientos y quieren capacitar a otras personas. No tienen que viajar por el país. Simplemente pueden realizar una llamada FaceTime con sus Personas”.
Todavía veo un futuro en el que iPhones, iPads, portátiles y auriculares colaboren juntos, algo que las empresas como microsoft y Qualcomm han señalado como un puente entre los auriculares y los dispositivos de pantalla plana. Samsung y Google También estamos discutiendo esos tipos de puntos de conexión con Android XR. Manzana tiene un ARKit en iPhones y iPads, por lo que las posibilidades ya existen.
Norris dice que a las personas fuera de los auriculares les faltaría algo en este momento. “Para apreciar plenamente la experiencia, es necesario tener tanto las capacidades de detección como las increíbles capacidades de visualización. Realmente tienen que unirse para crear un momento mágico como este”.
A medida que Apple avanza hacia una esperada línea de gafas inteligentes en el futuro, e inevitablemente hacia iPhones y iPads más avanzados, esa filosofía podría evolucionar. Las personas son el comienzo de un cambio fundamental en la forma en que manejamos la colaboración y la conexión.
Por el momento, sin embargo, nunca lo experimentarás a menos que estés dentro de un Vision Pro. Espero con ansias que llegue el momento en que el boleto de entrada a este mundo mágico de la telepresencia sea mucho más asequible y esté mejor distribuido, para que más personas puedan unirse.
En este momento, mi Persona está principalmente sola. Me encantaría poder tener compañía más a menudo.
No se pierda ninguno de nuestro contenido tecnológico imparcial y reseñas de laboratorio. Añadir CNET como fuente preferida de Google.
