유비소프트 라 포지(La Forge)는 유비소프트 몬트리올에 위치한 연구개발팀(R&D)으로 지역 대학 연구팀과 연계해 렌더링, 애니메이션, AI, 오디오, 물리학, 심지어 게이머를 이해하고 관리하는 도구와 같은 광범위한 주제를 다루고 있습니다. 궁극적으로 이곳에서 만들어진 프로토타입은 자사의 작품에 구현될 것이며, 결과물은 학계에 공유될 것입니다.
-유비소프트 라 포지 설명문 中-
.
3D 게임이 발전함에 따라 얼굴 애니메이션은 게이머가 게임 몰입을 위해 필수적으로 확인해야 하는 존재로 부상하게 되었습니다. 그러나 지금까지의 얼굴 애니메이션은 애니메이터가 하나하나 제작하여 게임 속에 추가시키기거나 텍스트를 음소 단위로 분해하여 소리와 애니메이션을 매치시켰기 (영어 위주) 때문에 영어권 이외에 국가의 현지화 (더빙) 시 립싱크 불일치로 인해 게임의 몰입도가 떨어진다는 불만이 존재하였습니다. 하지만 사운드 매칭을 통해 이러한 불만을 해소할 수 있을 것으로 보입니다.
사운드 매칭은 AI 기술을 활용하여 애니메이션을 구축하는 기술을 말합니다. 사운드 매칭에서 활용되는 ai는 음파를 분석, 활용하여 언어권에 알맞는 입술 애니메이션을 직접 만들어냅니다. 이를 통해 개발진들은 현지화에 대한 부담갑을 줄일 수 있어 게임 개발 중 다른 개발 방향에 전념할 수 있고, 사측도 애니메이션 개발 비용의 30%가 절감되는 효과를 볼 것으로 기대하고 있습니다. 또한 게이머는 자신의 언어권에 맞는 입술 애니메이션을 감상함으로 인해 게임의 몰입도가 올라가는 효과를 보게 될 것입니다.
이러한 기술은 놀랍게도 게임 이외에 분야에서도 사용될 것으로 보입니다. 의료계가 대표적인데 사운드 매칭을 소개하는 테크 기사에서는 조현병 환자나 불안장애 환자의 치료에 아바타를 사용한다고 소개하고 있습니다. 이런 경우 환자는 아바타의 입술에 집중하게 되는데 (입술 불일치로 인해) 아바타와 대화하고 있음을 믿지 못한다면 그 치료는 실패할 것이라고 소개하며 이러한 입술 애니메이션 기술 발전이 치료법 개선에 도움이 될 것이라는 점을 덧붙히고 있습니다.
<본문 작성을 위해 참고한 기사>
유비가 이것저것 진보적인 도전은 열심히 하더라고요
유비가 이것저것 진보적인 도전은 열심히 하더라고요
유비는 컨텐츠 빼고는 다 잘 만드는 것 같아요.
라스트 오브 어스 2를 통해 알려진 모션 매칭도 유비소프트가 적극적으로 연구하던 결과물 중 하나였습니다. 다만 모션매칭이 적용된 작품이 포 아너라 판매량에서도 기술적으로도 외면받았죠.
와 그럼 더빙하는대로 입모양이 바뀐다는건가 대단하다