Efficient Tone Mapping Considering Structural Fidelity and Naturalness

Abstract

실제 세상의 luminance 값은 광범위한 범위를 지닌다. (10−6 cd/m2 ~ 108 cd/m2) 이를 표현하기 위해서, high-dynamic range (HDR) 영상을 생성하는 여러 기술들이 개발되었다. 하지만, 기존 디스플레이 장치는 여전히 low-dynamic range (LDR)을 지닌다. 그래서, HDR 영상을 기존 디스플레이 장치에 표현하기 위해서, HDR 같은 LDR 영상을 만드는 기술이 연구되었다. 이 기술을 tone mapping 기술이라고 한다. 다양한 tone mapping 기술들 중에서 image quality metric 기반의 방법은 가장 유망한 기술이다. 일반적으로, 이 방법은 크게 2 가지 주요 연구 분야가 있다. 첫 번째 연구 분야는 objective function으로써 image quality assessment model를 개발하는 것이다. 두 번째 연구 분야는 objective function에 맞게 영상을 효율적으로 최적화하는 것이다. 다양한 image quality assessment model 로써 TMQI-II가 성공적으로 개발 되었다. 하지만 이 model에 대해서 최적화하는 대부분의 방법은 iterative process를 포함하고 많은 계산 량을 요구한다. 그래서, 실시간 처리에 어려움이 있고 많은 hardware resource를 요구한다. 이러한 문제를 해결하기 위해서, 졸업 논문에서는 iterative process 없이 TMQI-II metric에 대해서 최적화된 영상을 효율적으로 찾는 방법을 제안하였다. 제안하는 방법은 먼저 영상을 high-frequency component와 low-frequency component로 분할 한다. 다음으로, 각 component들을 TMQI-II에 맞게 최적화한다. 구체적으로, 영상의 전반적인 tone을 결정하기 위해서 low-frequency component는 TMQI-II에서 statistical naturalness model를 이용하여 수정된다. 영상의 structure를 보존하기 위해서, high-frequency component는 structural fidelity measure를 기반으로 수정된다. 마지막으로, 각 component들의 수정된 결과를 결합함으로써 결과 영상을 생성한다. 실험 결과, 제안하는 방법은 기존 방법들에 비해서 평균 tone mapping quality index-II (TMQI-II), feature similarity index for tone-mapped images (FSITM), 그리고 high-dynamic range-visible difference predictor (HDR-VDP)-2.2가 각각 0.651 (223.4%), 0.088 (11.5%), 그리고 10.371 (25.2%) 만큼 높은 값을 가졌다. 이는 제안하는 방법은 기존 방법들에 비해 HDR image와의 유사성이 가장 높은 것을 의미한다. 더 나아가, 계산 량 측면에서 제안하는 방법은 최신 방법에 비해서 2,611 배 빠른 것을 보여주었다.

The luminance of a real-world scene ranges from 10−6 cd/m2 (extreme darkness) to 108 cd/m2 (bright sunshine). To represent the real world, a variety of techniques have been developed to generate high-dynamic range (HDR) images. However, existing display devices still have low-dynamic range (LDR). Therefore, in order to represent an HDR image on an existing display device, a technique of generating an HDR-like LDR image is essential. This technique is called the tone mapping technique. The image quality metric-based method is the most promising technology among the tone mapping techniques. Generally, this method has two major research topics. The first topic involves developing the image quality assessment model as an objective function. The second topic is concerned about efficiently obtaining optimized images for the objective function. Various image quality assessment models, such as TMQI-II, have been proposed. However, the most optimization methods for the model are the iterative process. Therefore, they require a large amount of computation. To solve this problem, this dissertation proposes a non-iterative approach to find optimized images. The proposed method consists of the following three steps. First, the proposed method separates the base layer and the detail layer to separate the image into illuminance and detail components. Next, the proposed method generates a base layer with a natural tone using a statistical natural model based on the luminance and contrast statistics of natural scenes. The proposed method generates the optimal detail layer using the structure fidelity measure and the statistical naturalness model. Finally, the proposed method combines the layers generated in the previous step to generate the final tone-mapped image. Experimental results show that the proposed method outperforms the benchmark methods in most test images. Specifically, the proposed method improves an average tone mapping quality index-II (TMQI-II), a feature similarity index for tone-mapped images (FSITM), and a high-dynamic range-visible difference predictor (HDR-VDP)-2.2 by up to 0.651 (223.4%), 0.088 (11.5%), and 10.371 (25.2%), respectively, compared with the benchmark methods, whereas it improves the processing speed by over 2611 times. Furthermore, the proposed method decreases the standard deviations of TMQI-II, FSITM, and HDR-VDP-2.2, and processing time by up to 81.4%, 18.9%, 12.6%, and 99.9%, respectively, when compared with the benchmark methods.