[정보] 버튜버) 홀로라이브 이세돌 콜라보로 보는 실시간 모션캡처

[이루스V]

해당 게시글에는 유튜브에 업로드 되어 있는 키리누키들도 포함이 되어 있습니다.
이 키리누키는 제가 업로드한 영상이 아닙니다.
문제 발생시 수정 혹은 게시글 삭제조치 진행하겠습니다.

버추얼 유튜버(VTuber)는 실시간으로 3D 모션 캡처 기술을 활용합니다. VTuber의 인기로 인해, 이 기술은 더욱 대중화되었습니다.
다양한 3D 모션 캡처 장비가 존재하지만, 이 글에서는 두 가지 주요 시스템을 간단히 소개하려고 합니다.

그리고 이 게시글의 내용은 뇌피셜입니다.

---

1. Xsens

2. Optitrack

---

왜 이 두가지의 시스템을 소개하고자 할까요?

키아라가 방송에서 이야기한 부분으로 얻을 수 있는 정보가 많았습니다. 반대로 이런걸 방송에서 이야기해도 되는지 걱정될 정도로 자세하게 말해주더라구요.

따라서, 해당 발언으로 알 수 있는 부분들에 대해서, 정리하고자 합니다.

이 영상을 요약해서 알려드리자면, 한국에 이세계아이돌은 XSens를 사용하고 있습니다.

다만 홀로라이브는 Optitrack 및 일본 현지 스튜디오를 운영하고 있습니다.

키아라는 개인 사비를 이용해서 XSens 시스템을 구축한 것으로 보입니다.

커버사는 해외 버튜버들을 위해서 XSens 방식을 사용하고, 일본 및 일본으로 올 수 있는 버튜버에 한정해서 Optitrack 방식을 사용하는 것이 아닐까? 하고 추론 하고 있습니다. 아니면 키아라 개인이 그냥 Xsens 식으로 맞춘걸 수도 있구요. 이건 정확히 알 수 없습니다.

커버사가 XSens로 트래킹할때 발생하는 문제점에 관심이 없고 고치려고 하지 않는 이유는 추후 자세히 설명하겠습니다.

---

그렇다면, 본론을 말하기에 앞서 3D 트래킹에 중요한 부분을 정리해서 알려드리겠습니다.

1. Xsens

정보 출처 : 

Xsens mvn | 모션테크놀로지 (motioncapture.co.kr)

XSens는 주황색 '트래커'가 부착된 전신 슈트를 사용하여 실시간으로 움직임을 추적하는 장비입니다. 각 관절에 센서를 부착하고, 이 센서들이 실시간으로 위치를 파악하여 전신의 움직임을 트래킹합니다.

---

장점

높은 정확성 및 정밀도: XSens 시스템은 고해상도의 센서와 정밀한 알고리즘을 사용하여 매우 정확한 움직임 데이터를 제공합니다. 이는 애니메이션, 게임 개발, 스포츠 분석 등 다양한 분야에서 매우 유용합니다.

무선 및 휴대성: XSens 모션캡처 시스템은 무선으로 작동하여 사용자가 자유롭게 움직일 수 있습니다. 이로 인해 스튜디오 외부에서도 손쉽게 촬영할 수 있으며, 이동이 자유롭습니다.

사용 편의성: 설치 및 사용이 비교적 간편하여 초보자도 쉽게 사용할 수 있습니다. 소프트웨어 인터페이스가 직관적이어서 사용자가 빠르게 시스템에 익숙해질 수 있습니다.

다양한 적용 가능성: XSens 시스템은 영화, 게임, 스포츠 과학, 의학 연구 등 다양한 분야에서 활용될 수 있습니다. 특히 스포츠 과학에서는 운동 분석과 퍼포먼스 향상에 큰 도움이 됩니다.

실시간 피드백: 실시간으로 데이터를 제공하여 즉각적인 피드백을 받을 수 있습니다. 이는 실시간 애니메이션 작업이나 운동 분석 시 매우 유용합니다.

단점

비용: 고급 모션 캡처 시스템으로서 초기 투자 비용이 상당히 높습니다. 중소규모 스튜디오나 개인 사용자에게는 부담이 될 수 있습니다.

데이터 처리: 많은 양의 데이터를 처리하고 분석하는 데 시간이 걸릴 수 있습니다. 특히 복잡한 움직임을 캡처할 경우 데이터 정제와 분석에 많은 시간이 소요될 수 있습니다.

환경 제한: 실내에서의 사용은 최적화되어 있지만, 실외에서 사용할 경우 환경적 요인(날씨, 지형 등)에 영향을 받을 수 있습니다. 이러한 요인은 데이터의 정확성에 영향을 줄 수 있습니다.

기술적 문제: 무선 시스템이기 때문에 간혹 신호 간섭이나 연결 문제가 발생할 수 있습니다. 이러한 기술적 문제는 촬영에 지장을 줄 수 있습니다.

보정 필요성: 센서의 정확도를 유지하기 위해 정기적인 보정(calibration)이 필요합니다. 보정 과정이 번거로울 수 있으며, 이를 소홀히 할 경우 데이터의 정확성이 떨어질 수 있습니다.

---

또한, XSens는 전용 소프트웨어를 사용합니다. 대부분의 모션 캡처 시스템이 자체 프로그램을 보유하고 있듯이, XSens 역시 그렇습니다. 따라서 3D 모델링을 단순히 만드는 것에서 끝나지 않고, XSens 전용 프로그램에서 작동할 수 있도록 추가적인 가공 과정을 거쳐야 합니다.따라서 이세계 아이돌 전원이 XSens 시스템을 사용한다면, 문제 없이 호환이 될 것이고 합방도 문제없이 진행할 수 있을겁니다.

다만, 여기서 키아라의 문제가 발생한 이유는, 홀로라이브는 옵티트랙 시스템을 활용하지만, 키아라 개인이 구축한 시스템은 XSens라는 점입니다.

---

2. 옵티트랙 (Optitrack)

옵티트랙과 XSens에 차이점은 옵티트랙은 카메라를 활용한다는 점입니다. 전용 슈트를 입으면 정확도가 올라가고, 카메라를 통해서 전신의 움직임을 트래킹 한다는 특징이 있습니다.

장점
고정밀 데이터: OptiTrack은 매우 높은 정확성과 정밀도로 알려져 있습니다. 고해상도 카메라와 정밀한 추적 알고리즘을 사용하여 작은 움직임까지도 세밀하게 캡처할 수 있습니다.

확장성: 다양한 규모의 촬영 환경에 맞게 시스템을 확장할 수 있습니다. 카메라 수를 늘려 넓은 공간에서도 정확한 모션 캡처가 가능합니다.

실시간 피드백: 실시간으로 모션 데이터를 제공하여 즉각적인 피드백과 분석이 가능합니다. 이는 실시간 애니메이션 제작, 스포츠 분석 등에서 매우 유용합니다.

강력한 소프트웨어: OptiTrack의 소프트웨어는 사용자 친화적이며, 다양한 분석 및 시각화 도구를 제공합니다. 데이터 처리와 분석이 효율적으로 이루어질 수 있습니다.

다양한 적용 분야: 영화, 게임, 스포츠 과학, 의료 연구 등 여러 분야에서 활용될 수 있습니다. 특히 의료 분야에서는 재활 훈련이나 인간 움직임 연구에 유용합니다.

유연한 시스템 구성: 카메라 위치와 설정을 자유롭게 조정할 수 있어, 다양한 환경에 맞게 시스템을 유연하게 구성할 수 있습니다.

단점
비용: 고성능 시스템이기 때문에 초기 설치 비용이 매우 높습니다. 또한 넓은 공간이 필요합니다. 장비와 소프트웨어, 설치 및 유지 보수 비용이 부담될 수 있습니다.

복잡한 설치: 시스템 설치와 보정 과정이 복잡하고 시간이 많이 소요될 수 있습니다. 정확한 캘리브레이션이 필요하며, 이를 소홀히 할 경우 데이터의 정확도가 떨어질 수 있습니다.

환경 제약: 카메라 기반 시스템이므로 조명 조건, 반사물체 등의 환경적 요인에 민감합니다. 이러한 요인들은 데이터의 정확성에 영향을 줄 수 있습니다.

기술적 문제: 고해상도 카메라와 복잡한 소프트웨어를 사용하는 만큼, 기술적인 문제나 장애가 발생할 가능성이 있습니다. 이는 시스템 유지보수와 운용에 추가적인 부담을 줄 수 있습니다.

공간 제약: 넓은 공간에서의 모션 캡처는 많은 수의 카메라와 넓은 설치 공간이 필요합니다. 이는 촬영 환경의 제약을 가질 수 있습니다.

역시 옵티트랙도 자기들만에 소프트웨어가 있으며, 3d 모델링을 옵티트랙으로 운영하려면, 추가로 가공이 필요합니다.

따라서, 이세계아이돌과 키아라의 콜라보를 진행하려면 둘 중 한명이 서로의 방식으로 모델링을 가공할 필요가 있습니다. 

키아라의 모델링은 홀로라이브의 모델링이므로 기본적으로 옵티트랙에 동작하도록 제작이 되어 있을 것이고, Xsens로 개조하는 형식으로 운영이 되고 있을겁니다.

---

여기서 해당 문제점에 원인을 알 수 있습니다.

홀로라이브는 옵티트랙 시스템 구축을 위해 큰 투자를 했고, 인력 수급에 고생을 하고 있습니다.

「ホロライブ」の映像はここから生まれる！ 27億円をかけたカバーの新スタジオはどこがすごいのか (4gamer.net)

(카메라의 대수와 위치를 봐주세요. 옵티트랙 방식은 부동산부터 필요합니다.)

신스튜디오의 과제는 인력 부족?

홀로라이브의 커버사는 옵티트랙 방식을 사용하는 인력조차 부족한 상황입니다. 그런데 외부 콜라보를 위해 방송인 한 명을 위해 인력을 차출해 XSens로 가공해야 하는 상황이 발생합니다. 커버사가 XSens로 트래킹할 때 발생하는 문제를 해결하려고 할까요? 그렇지 않다고 생각합니다. 커버사가 옵티트랙 방식으로 방송하기 위해 투자한 금액은 27억 엔에 달합니다.

홀로라이브는 이세계아이돌과 콜라보해도 그만, 안하면 안하는 정도일테니, 이 콜라보는 우선순위에 밀려있을 가능성이 있습니다.

따라서, 이 문제는 이세계아이돌 팀이 해결하는 쪽으로 진행되는 듯 합니다.

만약 이 부분에 키아라가 불만을 가지고 있다면 회사 입장에서도 답답할 것으로 보입니다.

회사는 큰 돈을 투자해서, 옵티트랙 방식을 구축했고, 옵티트랙 방식을 활용하기 위해 인력 수급 및 노력을 하고 있습니다.

다만, 해외 버튜버들을 위해서 옵티트랙 방식을 구축하기엔 힘들겠죠. 

근데 방송인입에서 디테일하게 이야기를 해버려서 알아낼 수 있는 상황들이 대략적으로 이 정도 였습니다.

해당 게시글은 다시한번 말씀드리지만 뇌피셜입니다.

이루스V였습니다. 

[흔한남자]

지식이 늘었다

[天ノ川沙夜]

게다가 키아라는 혼자 유럽에서 살고 있지... 다른 EN 맴버들 보다 더 힘듬...

[RemixHerz]

옵티는 따로 스튜디오가 필요한 갑네. 자택에서 하는 스트리머는 쓰기 힘들긴 할듯

[미소녀충혹마]

심지어 홀로 저건 일본 최대규모라네요

[루리웹-3357899133]

진짜 이런 지식 글에 이세계 아이돌 들어 갔다고 호다닥 와서 비추 누르는 사람들 무섭다 ㅎㄷㄷㄷㄷㄷ

[루리웹-7420595764]

오...어려워