이미지 복원 및 향상 분야의 새로운 트렌드(NTIRE 2024) 워크숍 및 관련 챌린지와 모바일 지능형 사진 및 이미징(MIPI 2024)은 컴퓨터 비전 및 패턴 인식 컨퍼런스(CVPR 2024)와 함께 개최되는 국제 경연대회입니다.
NTIRE 2024는 이미지 노이즈 제거, 초고해상도, 디블러링, 인페인팅, 컬러화에 중점을 두고 컴퓨터 비전 및 이미지 처리의 발전을 촉진하는 것을 목표로 합니다. 또한 이미지 품질을 향상시키고 디테일, 질감, 시각적 외관을 개선하기 위해 고안된 혁신적인 기술을 선보입니다.
MIPI 2024는 새로운 이미지 센서와 이미징 알고리즘의 통합을 강조하며, 모바일 플랫폼에서 컴퓨터 사진 및 이미징에 대한 증가하는 수요를 해결합니다. 고품질 연구 데이터의 부족, 업계와 학계의 심도 있는 의견 교환의 기회 제한 등의 어려움에도 불구하고 이 대회는 모바일 지능형 사진 및 이미징 분야의 관련 기술 발전을 촉진하는 플랫폼 역할을 하고 있습니다.
삼성 R&D 연구소 중국 베이징(SRC-B)이 이 대회에서 여러 도전 과제에서 우승했음을 발표하게 되어 기쁘게 생각합니다. 자세한 내용은 다음과 같습니다:
• Few-shot RAW Image Denoising Challenge (MIPI @ CVPR2024) – Runner-up
• Bracketing Image Restoration and Enhancement Challenge - Track 1 - BracketIRE (NTIRE @ CVPR2024) – Champion
• Bracketing Image Restoration and Enhancement Challenge - Track 2 - BracketIRE+ (NTIRE @ CVPR2024) – Champion
• RAW Image Super-Resolution (NTIRE @ CVPR2024) – Champion
• HR Depth from Images of Specular and Transparent Surfaces - Track 1 Stereo (NTIRE @ CVPR2024) – Top 2
• Night Photography Rendering Challenge (NTIRE @ CVPR2024) – Top 2
처음 네 가지 과제를 위해 SRC-B는 모바일 경험(MX) 사업부와 협력했습니다. 카메라 이미지 신호 프로세서(ISP) 관련 과제 상용화 경험이 풍부한 MX와 한 팀이 되어 문제 분석, 데이터 처리, 모델 설계, 실험 등을 함께 진행하여 좋은 결과를 이끌어냈습니다.
브라케팅 이미지 복원 및 향상(BracketIRE 및 BracketIRE+) 과제는 브라케팅 촬영을 활용하여 저조도 환경에서 선명한 콘텐츠의 고품질 사진을 캡처하는 것입니다. SRC-B와 MX의 혁신적인 2단계 이미지 복원 및 향상 방법인 2단계 이미지 복원 및 향상 네트워크(RT-IRENet)를 통한 정제에는 원시 이미지를 거칠게 복원된 결과물로 융합하는 시간 변조 반복 네트워크(TMRNet) 기반의 첫 번째 모듈이 포함되어 있습니다. 두 번째 모듈은 비선형 비활성화 네트워크(NAFNet)를 기반으로 첫 번째 모듈의 출력을 세부적인 최종 이미지로 개선합니다. RT-IRENet은 두 트랙 모두에서 경쟁사보다 훨씬 뛰어난 성능을 보였습니다.
RAW 이미지 초고해상도 챌린지를 위해 SRC-B와 MX는 분할 및 정복 전략을 사용하는 2단계 네트워크를 도입했습니다. 첫 번째 단계에서는 저해상도로 저하된 RAW 이미지에서 이미지 구조를 복구하는 데 집중하고, 두 번째 단계에서는 디테일 검색을 강화하여 정교하게 재구성합니다. 이들은 합성 데이터 생성을 위한 기존 방법을 확장하여 하드웨어별 RAW 이미지 열화를 연구하고, 관련 장치별 노이즈 프로파일에 대한 새로운 정의를 제안하고, 일반적인 실제 시나리오에 부합하는 새로운 블러 커널을 개발했습니다. 이들은 무작위 열화 모델을 설계하여 관찰된 시뮬레이션 결함 간의 다양한 상호 작용을 시뮬레이션했습니다. 마지막으로 SRC-B는 모델 미세 조정 단계에서 성능 개선을 통해 입증된 새로운 초점 픽셀 손실(Focal Pixel Loss)을 제안했습니다. 이들의 솔루션은 이 까다로운 작업에서 최첨단 성능을 달성했습니다.
Few-Shot Raw 이미지 노이즈 제거는 제한된 페어링 데이터로 원시 이미지의 노이즈를 제거하기 위해 신경망을 훈련하는 과정을 포함합니다. SRC-B와 MX는 사전 훈련 데이터 세트로 DSLR 카메라에서 추가 데이터를 수집하고 딥 뉴럴 네트워크를 훈련하기 위해 특수한 색상 손실을 설계하여 뛰어난 지각 품질로 인상적인 결과를 만들어 냈습니다.
반사 및 투명 표면의 이미지에서 HR 심도 트랙에서는 사전 학습된 대형 MDE 모델의 단안 상대 심도가 지침으로 사용됩니다. 상대 깊이는 처음에 스테레오 네트워크의 메트릭 디스패리티에 맞춰진 후 반복적인 세분화를 위해 비용 볼륨과 함께 멀티스케일 GRU 네트워크에 입력됩니다. MDE 모델의 사전 정보를 통합하면 투명, 반사, 심지어 텍스처가 없는 영역에서 스테레오 매칭 네트워크의 성능이 크게 향상됩니다. 이러한 결과는 향후 로봇이나 스마트폰 장면 이해 애플리케이션에 도움이 될 수 있습니다.
야간 사진 렌더링 챌린지는 야간에 촬영한 이미지(특히 올해에는 원시 휴대폰으로 촬영한 이미지)를 렌더링하는 복잡한 문제를 해결하고 인지된 품질과 계산 효율성을 기준으로 결과를 평가함으로써 야간 사진의 처리 방법에 초점을 맞추고 있습니다. 야간 환경의 복잡한 광원 환경에 대해 SRC-B는 다중 광원 화이트 밸런스 알고리즘을 사용하여 고품질 이미지를 생성하고 이를 ISP 훈련에 사용합니다. 향후 모바일 카메라 ISP에도 적용될 수 있습니다.
대회 기간 내내 SRC-B는 글로벌 경쟁자들과의 치열한 경쟁에 직면했습니다. 혁신적인 기술을 완성하기 위해 수개월간 노력한 결과, 혁신적인 방법과 기법으로 대회의 다양한 난관을 성공적으로 극복하고 최종적으로 최고의 자리에 올랐습니다.
논문 열어보면 중국 이름 많긴 하던데 ㅋㅋㅋ
IEEE CVPR H5 index 보면 네이처 사이언스 바로 다음이던데 ㅎㄷㄷㄷ