https://oo.pe/https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/
손의 누끼를 실시간으로 따서 가상의 그래픽이 손에 가려지는걸 보여줍니다.
초록색점은 핸드 트래킹 지점입니다.
한편 핸드 트래킹의 위치는 핸드 오클루전보다 약 100~200밀리초 정도 뒤처져 있습니다. 하지만 비교 대상이 핸드 오클루전만 있기 때문에 (패스쓰루 비디오 처리 문제로 실제 손의 움직임과 비교하면 어느 정도 레이턴시가 있을 것입니다) Vision Pro의 핸드 트래킹의 실제 레이턴시를 정확히 파악할 수는 없습니다.
이러한 맥락에서 이 동영상은 한 유니티 개발자가 Vision Pro의 초기 실험에서 최신 Quest의 핸드 트래킹 기능과 비교했을 때 매우 높은 핸드 트래킹 지연 시간을 보였다고 말하는 대화의 내용을 담고 있습니다. 다른 유니티 개발자들도 자신의 Vision Pro 디바이스에서도 비슷한 지연 시간을 경험했다는 데 동의했습니다.
하지만 문제의 동영상은 Unity 앱 내부에 핸드 트래킹이 통합되어 있으므로, 핸드 트래킹 성능과 지연 시간에는 Apple의 자사 Vision Pro 개발 툴을 사용할 때는 나타나지 않는 Unity와 관련된 추가 요인이 있을 수 있습니다. 또한 헤드셋이 아직 출시되지 않았고 이러한 툴이 아직 개발 중이라는 점을 고려하면 헤드셋이 실제로 매장에 출시될 때까지 추가적인 개선 사항을 확인할 수 있습니다.
유니티 문제일 가능성이 커보여요 아니면 외부카메라 해상도가 높아서 처리해야할 데이터가 많거나 퀘스트3도 1600만화소 카메라지만 400만 픽셀로 외부를 촬영하고 있거든요
근데 카메라로 핸드트레킹은 한계가 있더라... 퀘3도 잘 되긴하지만 정밀도에서 물리적인 한계가 있음 예를들어 헤드셋의 카메라랑 손가락이 수평으로 되어서 엄지랑 검지만 보이고 뒤에 손가락이 카메라에 가려질경우 트래킹을 못함... 또 너무 정면으로 손등을 봐서 손이 굽어지는지 관절을 알아보기 힘들때도 오동작함...
대개 빨대 날아가는건 빨대 색깔과 배경 색이 비슷하거나 같은 계열 일 때 그런경우가 많으나 현재는 그렇지가 않음.
그리고 13프로도 빨대 컬러, 심도 등등에 따라 다 다름. 잘 잡을때도 있고, 위에서 얘기한것처럼 그런 경우에는 잘 못잡는 경우도 있고 그러함. 지금은 둘다 잘 잡아냄
빨대 잘 나온지는 꽤 됐고. 그리고 전 애플 하드웨어 안에서. 드립으로 말한거지 진지하게 열내며 적은글이 아닙니다. 그리고 갤럭시 비하할 생각없었고. 갤럭시 최고라고 계속 생각하셔도 됩니다. 어차피 서로 엣지 디텍션 지향점도 다르구요.
신ㄱ하네요
아이폰 sdk예제 같은거 돌려봐도 그렇게 느리진 않은데. 뭔가 리소스제한을 뒀거나 더 쳐내야할 연산이 있을것 같기도 하고요
유니티 문제일 가능성이 커보여요 아니면 외부카메라 해상도가 높아서 처리해야할 데이터가 많거나 퀘스트3도 1600만화소 카메라지만 400만 픽셀로 외부를 촬영하고 있거든요
누끼 최강자는 이제 아이폰 인물모드에서 비젼프로로 ...
[삭제된 댓글의 댓글입니다.]
보라보라1
빨대 잘 나온지는 꽤 됐고. 그리고 전 애플 하드웨어 안에서. 드립으로 말한거지 진지하게 열내며 적은글이 아닙니다. 그리고 갤럭시 비하할 생각없었고. 갤럭시 최고라고 계속 생각하셔도 됩니다. 어차피 서로 엣지 디텍션 지향점도 다르구요.
보라보라1
4년전에 머물러 있는듯 ㅋㅋㅋㅋ
당장에 13프로쓸때도 빨대 날아가던데 뭐가 4년임?
squarepusher
네 갤럭시 이야기는 제가 갈아타면서 그나마 만족한 부분이라 썼는데 문제가 될거같아서 뺐습니다.
보라보라1
대개 빨대 날아가는건 빨대 색깔과 배경 색이 비슷하거나 같은 계열 일 때 그런경우가 많으나 현재는 그렇지가 않음.
[삭제된 댓글의 댓글입니다.]
보라보라1
그리고 13프로도 빨대 컬러, 심도 등등에 따라 다 다름. 잘 잡을때도 있고, 위에서 얘기한것처럼 그런 경우에는 잘 못잡는 경우도 있고 그러함. 지금은 둘다 잘 잡아냄
루리웹-0514026165
그 이후에 업데이트로 많이 바꼈나보네요.
근데 카메라로 핸드트레킹은 한계가 있더라... 퀘3도 잘 되긴하지만 정밀도에서 물리적인 한계가 있음 예를들어 헤드셋의 카메라랑 손가락이 수평으로 되어서 엄지랑 검지만 보이고 뒤에 손가락이 카메라에 가려질경우 트래킹을 못함... 또 너무 정면으로 손등을 봐서 손이 굽어지는지 관절을 알아보기 힘들때도 오동작함...
가격 생각하면 크게 놀랄일은 아닌듯..
애플이니까 지연시간 때문에 빡치면 또 뭐하나 만들어서 해결할지도 ㅋㅋ
오클루전은 되게 좋네요 완벽하진 않지만.. 지연속도는 아쉬운데 아직 출시하기까지 좀 남았으니까 개선했으면 좋겠네요
결국 심도센서랑 라이더로 저렇게 하는것 같은데 아직 최적화가 덜되서 그런가 센서의 한계인가 빠른움직임에는 못쫒아 오는걸 보면 발전이 더 필요해 보이긴하네요
저건 뎁스 안쓰고 그냥 일반카메라에 찍힌걸 누끼다는거에요