핸드트래킹은 2019년부터 메타 플랫폼에서 사용할 수 있어 컨트롤러 없이도 다양한 앱 및 게임과 상호 작용할 수 있습니다. 그리고 최근 업데이트 덕분에 VR 세계에 더욱 몰입할 수 있게 Presence Platform 기술 제품군의 핵심 부분인 가상 손 관련 경험이 훨씬 개선되었습니다. 퀘스트 2용 핸드 트래킹 2.0을 사용하면 개발자가 더 반응이 빠르고 복잡한 제스처를 사용할 수 있으므로 VR에서 손을 자연스럽고 직관적으로 만드는 데 한 걸음 더 다가갈 수 있습니다.
개발자 어나더웨이(Anotherway)는 언플러그드:에어기타를 시작할 때부터 핸드 트래킹을 채택하여 컨트롤러나 플라스틱 악기를 사용하지 않고도 상징적인 로큰롤 노래를 연주할 수 있습니다. 창립자이자 크리에이티브 디렉터인 리카르도 아코스타(Ricardo Acosta)는 팀이 핸드 트래킹 2.0의 개선 사항에 매우 만족해 게임의 모든 메모 차트를 다시 디자인하여 보다 사실적인 경험을 제공했다고 말했습니다.
핸드 트래킹 업그레이드를 보고 가장 흥분한 점은 무엇인가요?
리카르도: 핸드트래킹 2.0은 우리에게 중대사항이었습니다! 언플러그드는 핸드 트래킹을 사용하여 플레이어에게 에어 기타 리얼리티의 몰입감을 제공합니다. 이것은 많은 빠른 손 움직임, 빠른 코드 변경 등을 의미합니다. 우리는 처음부터 플레이어에게 실제 에어 기타를 연주하는 느낌을 주고 싶었고 새로운 업그레이드를 통해 언플러그드를 다음 단계로 끌어올릴 수 있었습니다!
언플러그드의 플레이가 어떻게 개선되었나요?
리카르도: 이전 버전의 핸드 트래킹을 사용하여 매우 견고하고 정확한 게임 플레이를 달성했지만, 새 기술을 도입하면서 게임이 멈추지 않도록 때때로 제한 사항을 적용해야 했습니다. 하지만 핸드 트래킹 2.0 을 사용하면 손 추적이 매우 정확하고 반응이 빨라서 손가락 위치의 빠른 변경, 노래를 만들기 위한 사실적인 음표 수와 같이 이전에는 불가능했던 모든 특전을 포함할 수 있었습니다. 좀 더 자연스러워졌죠. 새로운 업데이트의 가능성을 수용하기 위해 모든 메모 차트를 다시 실행하기로 결정하게 된 결정적인 역할을 핸드 트래킹 2.0이 해냈습니다.
우리는 또한 전설적인 밴드 판테라, 뮤즈, 롭 좀비, 가십 및 슬레이어 밴드를 포함하는 두 개의 DLC, 판테라 팩 및 리프 팩을 최근에 출시했습니다. 이 팩의 모든 음표 차트도 핸드 2.0을 활용하도록 설계되었습니다.
핸드 트래킹 2.0 업데이트 구현은 어땠나요?
리카르도: 구현은 핸드 2.0 업데이트 자체만큼 순조롭게 진행되었습니다. 언플러그드가 대폭 변경되어 훨씬 더 그립감이 좋은 게임이 되었습니다. 이것이 우리 게임에 가져다 줄 모든 가능성을 기대하고 있습니다.
큐비즘은 3D 블록 조각을 다양한 기하학적 모양에 삽입하는 편안한 퍼즐 게임입니다. 제작자 토마스 반 보웰에 따르면 업데이트로 인해 손으로 블록을 줍고 회전하는 동작이 더 안정적으로 변했다고 언급했습니다.
핸드 트래킹 업그레이드를 보고 가장 흥분한 점은 무엇인가요?
토마스: 이전 버전은 플레이어에게 기술의 한계를 설명해야 했습니다. 손을 교차하지 말아야 한다던지 등을요. 핸드 트래킹 2.0은 대부분의 그럴 필요가 없어졌고 게임 플레이에 더 집중할 수 있게 되었습니다.
큐비즘의 플레이가 어떻게 개선되었나요?
토마스: 핸드 2.0에서는 실제 손과 가상 손이 거의 동일하게 움직입니다. 게다가, 추적을 놓치지 않고 한 손에서 다른 손으로 퍼즐 조각을 전달할 수 있으며 조각을 회전하고 퍼즐에 넣을 때 다양한 손재주 방식을 시도할 수 있습니다.
핸드 트래킹 2.0 업데이트 구현은 어땠나요?
토마스: 핸드 2.0을 구현하는 것은 매우 간단했습니다. 최적화하기 위해 손 추적 시스템의 일부 내부 매개변수를 조정했지만 그 외에는 매니페스트 파일에 한 줄 추가하는 정도의 문제였습니다.
유튜브VR에서 360도 동영상 및 기타 몰입형 콘텐츠를 재생하는 것이 그 어느 때보다 쉬워졌죠. 집게 버튼으로 메뉴바를 잡고 당기면 쉽게 메뉴를 탐색할 수 있습니다. 2D 비디오를 보면 화면을 오므리거나 잡아서 높이나 각도를 조절할 수 있습니다. 당연히 거리를 조절할 수도 있습니다. 유튜브 계정을 사용해 로그인 하면 구독했던 모든 채널을 가져올 수 있습니다.
우스꽝스러운 미니 게임과 활동들로 가득 찬 배케이션 시뮬레이터는 핸드 트래킹 2.0을 위한 완벽한 테스트 장소입니다. 다음은 개발사 아울케미랩스(Owlchemy Labs)의 최고운영책임부엉이(COO, Chief Operating Owl) 앤드류(Andrew Eiche)를 만나봤습니다.
핸드 트래킹 업그레이드를 보고 가장 흥분한 점은 무엇인가요?
앤드류: 우리 개발사는 핸드 트래킹을 좋아합니다. 핸드 2.0으로 기술의 주요 개선 사항을 보는 것은 매우 흥미로웠습니다. 보다 안정적인 핸드 트래킹 및 손을 통한 상호 작용에 대한 지원은 우리가 이 기술을 처음 봤을 때부터 원했던 것입니다. 핸드 트래킹을 위한 각 업데이트 메타 릴리스는 특히, 표준 게임 컨트롤러 설정에 익숙하지 않은 플레이어에게 훨씬 더 쉽게 액세스 할 수 있는 경험을 제공합니다. 핸드 트래킹을 사용할 때 추가적으로 알려줄 게 없을수록 좋다고 생각합니다.
배케이션 시뮬레이터의 플레이가 어떻게 개선되었나요?
앤드류: 다른 모든 게임과 마찬가지로 배케이션 시뮬레이터에서도 손을 사용해 세상과 상호작용하는 것이 우리 디자인의 핵심입니다. 이전 버전의 핸드 트래킹을 사용했을 때도 컨트롤러를 사용하지 않고도 대규모 VR게임을 완전히 플레이할 수 있음을 세상에 보여줬습니다. 핸드 2.0은 플레이어에게 더 풍부한 경험을 제공합니다. 다양한 시나리오에서 손을 더 정확하게 추적할 수 있게 되었고 이것은 플레이어가 배케이션 시뮬레이터를 즐기는 데 집중하게 만듭니다.
핸드 트래킹 2.0 업데이트 구현은 어땠나요?
앤드류: 핸드 2.0을 구현하는 것은 매우 간단했습니다. 배케이션 시뮬레이터는 이미 핸드 트래킹 지원으로 출시되었기에 우리가 해야할 일은 2.0 버전의 핸드 트래킹을 지정하도록 안드로이드매니페스트를 업데이트 하는 것이었습니다.
수정은 예상대로 작동했고 퀘스트에서 빌드 및 빠른 테스트를 수행하니, 완벽했습니다. 그 때부터 내부적으로 핸드 트래킹 알고리즘이 추적을 놓쳤을 때나 제스처 인식을 처리하는 시스템이 핸드 트래킹 2.0 상황에서도 문제없이 작동하는 지 테스트하는 데 시간을 가장 많이 투자했습니다. 결국 핸드 2.0은 코드 수정 없이 개선이 완료 되었고, 이를 변환하는 과정에서 기술적인 문제는 발견하지 못했습니다.
체스 클럽은 원래 핸드 트래킹과 함께 작년에 출시되었으며 아더스랩(Odders Lab) 비즈니스 이사 제이미 피카르도 가르시아(Jaime Pichardo García)에 따르면 팀은 새로운 핸드 트래킹으로 기반을 구축하길 열망했습니다. 그 결과 정확도와 물리학이 향상되었을 뿐 아니라 게임에는 상대방에게 보낼 수 있는 새로운 제스처 기반 반응도 있었습니다.
핸드 트래킹 업그레이드를 보고 가장 흥분한 점은 무엇인가요?
제이미: 체스 클럽을 처음 시작했을 때 핸드 트래킹이 우리에게 필수라는 것을 알고 있었고 커뮤니티에서 긍정적인 피드백을 받은 후 올바른 결정임을 알았습니다. 우리가 핸드 2.0이 업데이트 된 것을 보자마자 개발자들은 흥분해 새 기능에 대한 작업을 시작했습니다. 저는 첫 테스트 빌드 이후 컨트롤러를 사용하지 않게 되었습니다.
체스 클럽의 플레이가 어떻게 개선되었나요?
제이미: 게임의 정확도와 느낌이 전반적으로 향상되었습니다. 정밀도가 상당히 향상되었고 추적 문제가 최소한으로 줄었기에 굉장히 기분이 좋습니다. 하지만 더 흥미로운 것은 향상된 물리학으로 체스말을 가지고 노는 게 너무 재밌다는 겁니다(대전 중에는 절대 이러지 마십시오!) 또는 체스 말을 여러 개 모아 균형을 맞춰 탑을 만들 수도 있습니다. 또한 손으로 제스처를 통해 상대방에게 보낼 수 있는 이모티콘 레이어를 추가해 반응을 더 재미있게 만들었습니다. 흥미롭게도 일부 플레이어는 실제 손으로 할 수 있는 것들을 시도하는 데 몰입하기 시작했습니다. 이 때문인지 전체 경기 중 길어지는 경기의 수가 ‘상당히’ 증가했습니다.
핸드 트래킹 2.0 업데이트 구현은 어땠나요?
개발 팀에서 정보를 수집하면서 확실히 몇 가지 문제를 제기했었지만 그 자체가 우리가 성공하고 있는 증거입니다. 새 시스템으로 물체를 잡는 것은 이전 버전의 핸드 트래킹이 적용되어 있어 약간 어려웠습니다. 손 사이로 물건을 넘기는 것도 마찬가지였습니다. 제스처를 사용할 때 가장 어려웠던 부분은 약간의 오탐지였습니다. 긍정적으로 보면 물리 구현은 매우 간단하고 작업하기 행복했습니다. 유사하게, 제스처에 대한 기본 구현은 별다른 어려움을 일으키지 않았습니다.
라이트복서에서 최신 음악을 감상할 때 땀에 젖은 컨트롤러 한 쌍보다는 맨 손이 더 나을 수 있습니다. 핸드 트래킹 업데이트를 통해 라이트복서 테크놀로지(Liteboxer Technologies)의 CEO인 제프 모린(Jeff Morin)은 앱이 손을 보다 정확하게 따라갈 수 있어 더 부드러운 운동 경험을 제공할 수 있다고 말했습니다.
핸드 트래킹 업그레이드를 보고 가장 흥분한 점은 무엇인가요?
제프: 업그레이드에서 우리를 가장 흥분시킨 것은 더 빠른 움직임을 처리할 수 있는 능력이었습니다.
라이트복서의 플레이가 어떻게 개선되었나요?
제프: 복싱 및 기타 피트니스 방식을 추적할 때 빠른 움직임을 추적하는게 중요한 역할을 하며 핸드 트래킹 2.0은 이러한 경험 자체를 향상시킵니다. 우리는 운동 중 움직임을 더 잘 평가하고 개선된 피드백을 제공할 수 있습니다.
핸드 트래킹 2.0 업데이트 구현은 어땠나요?
제프: 업데이트를 구현하는 것은 우리에게 매우 간단했고 약간의 노력만 하면 됐습니다. 주요 기술 장애물은 원래 퀘스트를 소유한 사람들이 수준 이하의 경험을 하지 않도록 하는 것이었습니다.
포커스타즈VR은 친구 및 낯선 사람과 포커 및 기타 카지노 게임을 하는 느낌을 재현하고 다양하고 멋진 환경에서 놀 수 있습니다. 손 추적 2.0을 사용하면 프로그래머 랜던 그랜트(Landon Grant)는 가상 손이 카드, 칩 및 기타 물건을 잡는 것과 관련해 더 사실적으로 느껴진다고 말합니다.
핸드 트래킹 업그레이드를 보고 가장 흥분한 점은 무엇인가요?
랜던: 손 위에 손을 겹칠 수 있다는 것이 엄청난 개선입니다. 손이 무엇인가에 가려질 때마다 손이 날아가버릴 때 정말 몰입이 깨집니다. 우리의 UI는 손목시계를 두드리면 작동되는데, 이것은 핸드 트래킹 2.0의 개선이 없었다면 사용이 불가능할 정도였습니다.
포커스타즈VR의 플레이가 어떻게 개선되었나요?
랜던: 플레이어가 상호 작용하는 개체들은 던질수 있도록 설계되어 있습니다. 접을 때 카드, 배팅을 할 때, 심지어 많은 소품들도 특별한 동작을 할 수 있습니다. 이전 버전의 핸드트래킹은 물체가 잠시 손에 들어붙어 있는 어색한 상황이 자주 발생했습니다. 이제 이런 기능이 개선되어 전반적으로 손 추적 경험이 향상되었습니다.
핸드 트래킹 2.0 업데이트 구현은 어땠나요?
랜던: 포커스타즈 VR에 핸드트래킹 2.0을 구현하는 것은 전등 스위치 올리는 것만큼이나 쉬웠습니다. 개선되는 플레이어 경험이 어떤 것일지 기대하고 있습니다.
퀘스트 스토어에서 핸드트래킹을 이용한 타이틀들을 찾아볼 수 있습니다. 하지만 이게 다가 아니죠. 개발자들은 이제 막 핸드 트래킹 2.0을 시도하고 있습니다. 리틀 시티즈(Little Cities)도 확인하고 다른 게임의 향후 업데이트를 주시하세요.