페이스북 연구진이 엔비디아의 DLSS(Deap Learning Super Sampling)과 크게 다르지 않은 뉴럴 슈퍼 샘플링 기술에 대한 SIGGRAPH 2020에 제출한 논문을 통해 소개하였습니다.
DLSS와는 다르게 특정 하드웨어나 소프트웨어가 필요하지 않으면서, 결과물은 DLSS에서 기대하는 것과 유사한 결과물을 보여줍니다.
아래의 세 이미지는 저해상도 이미지, 16배 뉴럴 슈퍼 샘플링을 한 이미지, 고해상도 이미지입니다.
페이스북은 오큘러스 플랫폼의 AR, VR 프로그램에 사용이 가능하다고 언급하였습니다만. 일반적인 3D 게임에서 DLSS 대체용으로 사용할 것으로 기대됩니다.
1. 대충 보니 원리는 DLSS 2.0이랑 유사함 2. DLSS도 알고리즘적으로 특정 하드웨어의 기능이 필요한건 아니다. 그냥 존나 빠르게 연산할려고 텐서코어 쓰는거지. 3. 성능(짤방)을 보면 역시나 전용 텐서 코어가 필요할듯. 1920x1080으로 업샘플링하는데 18ms가 걸린다. 초당 60fps 렌더링할려면 16ms안에 모든 처리를 마쳐야 하는데 업샘플링만 18ms가 걸리면..
16비트 정밀도에 타이탄 V로 테스트 했으면 텐서코어 썼다는 얘기 같은데.. 18ms라면 논문으로 가능성만 보여준 수준이고 실제 게임에는 못 쓸 것 같음
참고로 DLSS 2.0은 1.5ms가 걸린다
거의 재창조 급인데..
vrs도 그렇고 vr에 부하가 많이 걸리니 줄이는 기술들이 연구되는듯
vrs도 그렇고 vr에 부하가 많이 걸리니 줄이는 기술들이 연구되는듯
예시만 보면 정말 엄청나네요 원래 이미지만 보면 뭔지도 모를정도로 제대로 안보이는 것도 있는데
거의 재창조 급인데..
AI가 인지하고 있는 기억에 따라서 재창조 하는게 맞다고 알고 있어요 그래서 사람 얼굴 같은경우 미묘하게 다른사람 얼굴이 된다더라구요
사람 얼굴같이 원본이 존재하지 않는 모자이크에 유사한 이미지로 학습시켜소 재창조하는거랑 다르게 이거는 실제 게임을 고해상도로 렌더링한 이미지로 학습시킨 데이터를 이용해서 저해상도로 렌더링한 다음 유추해내는 거라 최근 나온 결과물 보면 거의 차이 못느낄정도로 괜찮습니다.
옷에 늑대그림 저게 된다고?
1. 대충 보니 원리는 DLSS 2.0이랑 유사함 2. DLSS도 알고리즘적으로 특정 하드웨어의 기능이 필요한건 아니다. 그냥 존나 빠르게 연산할려고 텐서코어 쓰는거지. 3. 성능(짤방)을 보면 역시나 전용 텐서 코어가 필요할듯. 1920x1080으로 업샘플링하는데 18ms가 걸린다. 초당 60fps 렌더링할려면 16ms안에 모든 처리를 마쳐야 하는데 업샘플링만 18ms가 걸리면..
여기서 DLSS 2.0과 비슷하다는건 지나간 프레임에서 정보를 뽑아내서 앞으로 렌더링될 프레임을 고해상도로 재구축하는걸 말함
TopSpoiler
16비트 정밀도에 타이탄 V로 테스트 했으면 텐서코어 썼다는 얘기 같은데.. 18ms라면 논문으로 가능성만 보여준 수준이고 실제 게임에는 못 쓸 것 같음
TopSpoiler
참고로 DLSS 2.0은 1.5ms가 걸린다
실제 게임에서 쓸려면 하드웨어 가속 없이는 힘들 것 같습니다.
서로 다른 장면을 렌더링한걸 숫자를 직접 비교하면 그게 비교가 되나요? 페북은 DLSS같은 NVidia전용 알고리즘이 아니라 자기들 알고리즘 (NVidia아니어도 쓸 수 있다는 이야기지 전용 하드웨어가 필요 없다는 이야기는 없음) 이용해서 비슷한 결과를 낼 수 있다는 논문인데요. DLSS없이 16ms걸리던거를 저해상도 렌더링 6ms + DLSS로 1.5ms한 결과랑 저 논문에 있는 데이터는 1600x900에 140.6ms가 걸리는 장면을 페북 알고리즘으로 했을 때 26.4 + 17.68 걸려서 44.08에 렌더링을 해냈다는 이야기인데. 성능 향상으로 오면 별 차이가 없는데요?
네이티브 해상도 대비 성능향상치가 아니라 실제 게임에서 몇fps로 돌아갈지 생각을 해보세요. 44ms면 22fps밖에 안됩니다. 업스케일링 시간 18ms는 줄일 수 없는 상수시간인게 문제입니다.
저는 업스케일링 성능만 얘기하고 있습니다. 저해상도 씬을 렌더링하는데 걸리는 시간은 관심 없습니다. 업스케일링하는데만 18ms가 걸리는 알고리즘을 실제로 게임에 써먹을 수 있습니까?
대충 보고 3배 성능향상 부분만 보고 괜찮은데? 생각했는데 써주신 내용보고 다시 자세히 보니까 그게 문제가 아니었네요. 하드웨어 가속이라도 제대로 지원되면 쓸만해질 수 있을 것 같은데 당장 나온 결과로 DLSS 대체라고 하기엔 과장이 심하네요.
DLSS는 Nvidia 독점이라 NVidia 드라이버에서 지원하는 게임이 아니면 혜택을 볼 수가 없는데. 페북에서 이 기술을 완전히 오픈한다면 지원하는 게임도 많아지고 XSX에서도 전용 텐서코어 만큼은 아니겠지만 어느정도 성능향상에 쓸만한 수준으로 들어가는 것도 기대해 볼 수 있을 것 같네요.
페북에서 연구한 기술이면 게임용이라기보단 저해상도 이미지 파일을 가지고 AR 체험을 가능케하는 정도 아닐까요
경쟁은 좋네요