이미지 화질 개선 AI 기술

 

삼성전자 딥러닝 기반 화질 개선 AI 기술 정리

 

S/W AI-ISP(Image Signal Processor)

 

출처 : https://r1.community.samsung.com/t5/camcyclopedia/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EA%B8%B0%EB%B0%98-%ED%99%94%EC%A7%88-%EA%B0%9C%EC%84%A0-ai-%EA%B8%B0%EC%88%A0/ba-p/20184604

딥러닝 기반 화질 개선 AI 기술

 

딥러닝 기반 화질 개선 AI 기술 개념

딥러닝 기반 AI 기술이 발전함에 따라 전통적인 머신러닝 기반의 신호처리 기술에 의해 구동하는 H/W 카메라 ISP (Image Signal Processor) 처리 이외에, S/W 딥러닝 기반 화질 개선 AI 모델이 이를 대신하여 영상의 화질을 개선하는 경우가 늘어나고 있음

특히, 저조도나 고화소와 같이 열화나 왜곡이 심한 영상을 개선해야 하는 경우에 딥러닝 기반의 솔루션이 더 좋은 성능을 보여주고 있음

 

H/W 카메라 ISP

• 전통적인 머신러닝 기반의 다양한 화질 처리를 위한 블록들로 구성되어 있으며 일반적으로 주간 조건에서 영상 촬영 시 동작함
• AP (Application Processor) 제조사에 따라 그 구성과 성능이 다를 수 있음

S/W 카메라 AI-ISP

• 저조도나 고화소 등의 촬영에서 동작함
• 딥러닝 기반 화질 개선 AI 모델의 성능 최적화를 위하여 입력 이미지 전처리 및 출력 이미지 후처리가 필요함
• 핵심이 되는 화질 개선 AI 모델은 ANN (Artificial Neural Network), CNN (Convolutional Neural Network), ViT (Vision Transformer) 등 다양한 네트워크 아키텍처가 사용될 수 있음

저조도 화질 개선 AI 모델 : AI Nightography

저조도 노이즈 종류

광자 샷 노이즈 (Photon shot noise)
빛이 충분할 때와 달리 저조도의 낮은 수광 조건에서는 카메라 센서의 포토다이오드에 다수의 광자가 튀어나가버려 양공이 형성될 확률이 적어 픽셀 간 측정값이 불안정하여 광자 샷 노이즈가 발생함

이는 ISO 증폭 즉, 아날로그 게인 증폭 시 함께 증폭됨

 

판독 노이즈 (Readout noise)

이미지 센서의 신호 판독을 위해 아날로그를 디지털로 전환하는 과정에서 발생하는 증폭기 고유의 출력 노이즈

이는 위에서 설명한 광자 샷 노이즈와 달리 ISO 증폭에 크게 영향을 받지 않음

이 외에도 장노출 암전류, 센서 리셋, 양자화, 흑백 점 등 다양한 형태의 노이즈가 존재함

 

고화소 AI 영상 처리 알고리즘 : AI High-Resolution

딥러닝 기반의 AI 영상 처리를 활용하여 작은 크기의 픽셀이 갖는 물리적인 한계(노이즈 및 디테일 열화)를 극복하는 기술

픽셀의 크기가 작으면 픽셀에 도달하는 빛의 양이 적어지며, 이는 노이즈의 증가로 이어짐

고화소 센서에 최적화된 AI 영상 처리로 획기적인 체감 화질을 개선, 화소 숫자에 걸맞은 고해상도 화질을 제공

고화소 센서란? 

고화소 센서는 대표적으로 S22 Ultra 및 S22/S22+에서 사용되었으며, 각각 108MP와 50MP의 화소 수를 가짐

일반적인 센서에서는 Bayer Color Filter Array (CFA) 구조를 사용하는 반면, 고화소 센서는 Nona CFA (108MP) 및 Tetra CFA (50MP)로 구성되어 있음

 

동일 칩셋 크기에 픽셀 개수가 늘어남에 따라, 픽셀 당 크기는 작아지고 물리적인 수광 면적이 줄어듬

 

AI Nona/Tetra Demosaic - 향상된 AI 디모자익 알고리즘으로 디테일 극대화

영상은 세 채널(적색/녹색/청색)로 이루어지며, 일반적으로 이미징 센서는 한 픽셀 당 한 채널 밖에 획득할 수 없음

따라서 녹색 채널이 얻어진 경우는 나머지 채널(적색/청색)을 추정하여 영상의 형태를 갖춰야 합니다. 센서로부터 얻어진 단 채널 정보를 세 채널 영상으로 바꾸는 과정을 디모자익이라고 부름

한 픽셀은 색 필터(color filter)를 이용하여 어떤 색을 담을지 결정할 수 있음

이미징 센서는 색을 구분하기 위해 CFA(Color Filter Array)를 장착하여 특정 패턴을 갖게 됨

 

기존 H/W ISP는 Bayer 패턴을 입력으로 함 따라서 Bayer 이외의 패턴들은 Bayer 패턴으로 변환해 주는 Remosaic 알고리즘이 필수적이며, 이 과정에서 디테일 손실이 필연적으로 수반됨

 

한편 AI 디모자익 알고리즘은 학습된 신경망을 통해 Nona/Tetra 구조의 RAW 영상에서 직접적으로 색상 정보를 복원함

따라서 디테일을 극대화할 수 있으며, 하나의 픽셀에서 세 가지 색상을 정확하게 복원할 수 있음

센서의 Nona/Tetra CFA 패턴을 모델링하고, AI 신경망을 훈련시키기 위해 다양한 패턴의 고해상도 영상이 학습에 사용되었음

AI Denoise - 작은 크기의 픽셀이 갖는 물리적인 한계 극복

노이즈 제거 알고리즘의 목표는 영상 신호에서 노이즈를 제거하는 한편 영상의 디테일은 유지하는 것임

일반적으로 노이즈를 제거하는 과정에서 디테일도 함께 제거되는 것으로 알려져 있음 따라서 노이즈를 과도하게 제거하면 디테일이 손실되며, 디테일을 유지시키려면 노이즈 제거 강도가 약해져야 함

 

AI를 활용한 노이즈 제거 알고리즘은 신경망이 패턴을 인식하고 학습된 적절한 필터를 적용함. 따라서 H/W ISP의 노이즈 제거 방법에 비해 훨씬 더 정확한 디테일을 유지하는 방향으로 노이즈를 제거하고 이미지를 복원할 수 있음

센서의 물리적인 노이즈 특성을 모델링하고, 이를 바탕으로 수천~수만 장의 고해상도 영상으로 AI 신경망을 학습

 

 

갤럭시 카메라의 고해상도 모드 - 디테일 향상 (Detail Enhancer)

위에서 언급한 AI Demosaic 및 AI Denoise 알고리즘과 S/W ISP의 전처리/후처리 알고리즘이 결합되어 최적의 pipeline을 구성하였으며, 고해상도 모드의 '디테일 향상 (Detail Enhancer)'으로 상품화되었음

 

갤럭시의 AI 전용 H/W 칩셋인 NPU를 활용하여 모바일 환경에서 보다 빠르게 구동할 수 있도록 구현하였으며, GPU/CPU 리소스 분산을 통해 pipeline 최적화를 진행