현재 VR 시스템은 헤드셋과 고정 컨트롤러와 함께 제공되므로 머리와 손의 위치만 추적합니다. 팔꿈치, 몸통 및 다리의 위치는 IK(역운동학)라는 알고리즘 클래스를 사용하여 추정할 수 있지만 이는 팔꿈치에 대해서는 가끔 정확하고 다리에는 거의 정확하지 않습니다. 주어진 머리 및 손 위치 세트에 대한 잠재적 솔루션이 너무 많습니다.
IK의 한계를 감안할 때 오늘날 일부 VR 앱은 손만 표시하고 많은 앱은 상체만 표시합니다. SteamVR 추적을 사용하는 PC 헤드셋은 HTC의 Vive Tracker 와 같은 추가 추적기를 착용 하지만 신체 추적에 필요한 3개의 비용은 350달러 북쪽이므로 대부분의 게임에서 지원되지 않습니다.
그러나 QuestSim이라는 새로운 논문 에서 Meta 연구원들은 Quest 2와 컨트롤러의 추적 데이터만으로 그럴듯한 전신 포즈를 추정할 수 있는 신경망으로 구동되는 시스템을 시연했습니다. 추가 추적기 또는 외부 센서가 필요하지 않습니다.
와 같이 가속도계와 자이로스코프만 있는 장치입니다 (Pico는 자체 기계 학습 알고리즘을 개발 중이라고 주장함).연구원들은 결과 정확도와 지터가 마모된 IMU 트래커보다 우수하다고 주장합니다. Pico 4에서 발표한 Pico Fitness Band결과 아바타 모션은 사용자의 실제 모션과 상당히 가깝게 일치합니다.
그러나 여기에는 함정이 있습니다.
전신 포즈를 생성하도록 설계되었습니다. 영상에서 볼 수 있듯이 이 시스템은 손의 정확한 위치와 일치하지 않고 그럴듯한 전신 포즈를 생성하도록 설계되었습니다.
따라서 QuestSim은 아래를 내려다볼 때 자신의 아바타가 아닌 다른 사람의 아바타 몸을 보는 데에만 적합합니다. 시스템의 지연 시간도 160ms로 72Hz에서 11프레임 이상입니다.
