Structural Field Synthesis and Rendering for Artistic Image Effects

Abstract

Artistic image effects are non-photorealistic, but impressive and aesthetic images such as paintings. There have been various kinds of artistic image effects from traditional artistic paintings, defined and drawn by human, to new image effects developed with the improvement of image editing softwares. In most styles, portrayed objects are well-described with their abstracted features, reflecting producers’ intention, while too many details rather disturb the perception of the scene. That is why these stylized images are effective for visual communication as well as artistic.In computer graphics, various pervious approaches have been tried in non-photorealistic rendering and image stylization to generate artistic image effects from 2D images, since 2D images are easy to be obtained. However, they have difficulties to generate highly artistic results as human generated because 2D images have no direct information about the 3D structure of the scene, which human essentially use with.In this thesis, we propose a method to extract additional information which are useful for artistic image effects. By defining these additional information as structural field, this thesis generalizes artistic image effect generation methods with a unified framework. The framework synthesizes structural field from an input 2D image and renders the field effectively for each effect. Based on the framework, we introduce three different artistic image effects

abstract line drawing, directional stippling using structure grid, and image fire effect via still-frame simulation.Our abstract line drawing method generates line drawings automatically, aiming to facilitate effective visual communication. In contrast to conventional edge detectors, this technique imitates the human line drawing process and synthesizes the likelihood function as structural field, which is used for effectively finding the genuine shape boundaries and extracting additional properties, such as detail and focus-level. By rendering textured line strokes with these properties, our technique generates various kinds of line drawings from 2D images with much abstracted features.We also present a method to convert a photograph into a directional stippling illustration which conveys tone and feature flow information using stipple dots and hatching lines. To facilitate regular and directional spacing of primitives, we synthesize a structure grid following a feature vector field as structural field. Given the field, we determine the appropriate positions and attributes of primitives, stipple dots and hatching lines, and render them resulting directional stippling which nicely reproduces features and tones of various input images.Finally, we define an automatic image fire effect generation method using fire simulation, by defining simulation data as structural field. We synthesize the field using our still-frame fire simulation technique which is specified for image effects. The technique makes it possible to perform high-quality simulation with user interaction which is incompatible in usual simulations for animations. By rendering this synthesized simulation data as fire, we can effectively and efficiently generate a variety of image fire effects.

예술적 영상 효과는 회화 등과 같이 비사실적이지만 인상적이고 심미적으로 우수한 영상을 의미하며, 그 종류는 사람들이 오래 전부터 정의하고 그려온 수많은 종류의 회화에서부터 최근 영상 편집 소프트웨어의 발달로 새롭게 개발된 영상 효과들에 이르기까지 매우 다양하다. 이러한 예술적 영상 효과들은 대부분 대상을 표현함에 있어 추상화를 사용하는데, 사실적이고 정밀한 세부묘사에 비해 제작자의 의도에 부합하는 특징들만을 묘사 함으로서 예술적인 면뿐 아니라 시각정보 전달 측면에서도 장점을 갖게 된다. 컴퓨터 그래픽스 분야에서는 이차원 영상을 입력으로 하여 이러한 예술적 영상 효과를 생성하기 위해 비사실적 렌더링과 영상 스타일화 측면에서 많은 연구들이 진행되어 왔다. 이차원 영상은 획득이 쉽다는 장점이 있지만, 해당 장면의 삼차원 구조 정보를 갖고 있지 않으므로 사람이 다양한 정보를 활용하여 만든 것 같은 예술적 영상 효과를 생성하는데 한계가 있다. 하지만 보다 우수한 품질의 예술적 영상 효과 생성을 위해서는 이러한 추가적인 구조 정보에 대한 고려가 필수적이다.본 논문에서는 고품질의 예술적 영상 효과에 필수적인 추가 정보를 구조장이라 정의하고, 다양한 영상 효과 생성 방법을 입력 이차원 영상을 이용해 구조장을 생성하고 이를 효과적으로 렌더링하는 단일화된 프레임워크 관점에서 접근한다. 또한, 해당 프레임워크를 이용하여 추상화된 라인 드로잉, 구조 격자를 이용한 방향성 있는 점묘화, 정지 화상 시뮬레이션을 통한 영상 불 효과라는 세 가지 서로 다른 예술적 영상 효과들을 효과적으로 정의한다.추상화된 라인 드로잉 연구에서는 보다 효과적인 시각정보 전달이 가능한 라인 드로잉 방법을 제시한다. 본 방법에서는 기존 연구와 달리 사람의 라인 드로잉 과정을 모사하는 방법으로 공산함수를 생성, 이를 구조장으로 생성한다. 이를 통해 보다 길고 부드럽게 연결되는 선들을 생성함은 물론, 그 과정에서 특징규모, 흐릿함 정보와 같은 추가 속성 정보도 얻을 수 있다. 이러한 속성을 이용하여 효과적으로 조절된 텍스처 매핑 선을 렌더링 함으로서, 다양한 특징들이 보다 추상화되어 표현된 라인 드로잉 결과를 얻을 수 있다.또한 본 논문에서는 점을 이용하여 톤과 특징 흐름을 표현하는 일반적인 점묘화에 특징 방향 정보를 더함으로서 방향성 있는 점묘화를 생성한다. 방향성을 띄고 규칙적인 간격으로 점을 나열하기 위해 본 연구는 특징 방향장을 따르는 구조 격자를 구조장으로 정의하고 생성한다.이를 따라 점과 해칭선의 위치와 성질을 정의하고 렌더링함으로써 사람이 생성한 것에 보다 가까운 결과를 얻을 수 있다.본 논문에서는 마지막으로 자동화된 영상 불 효과 방법을 새롭게 제안한다. 본 연구는 불 시뮬레이션을 이용해 기존의 수동 작업을 대체하는데, 이를 위해 입력 영상을 기반으로 생성된 시뮬레이션 정보를 구조장으로 정의한다. 이 때, 한 장의 영상 불 효과를 위해 특화된 정지 화상 시뮬레이션 방법을 정의함으로써 기존의 애니메이션을 위한 시뮬레이션과 달리 사용자 상호작용이 가능하면서도 고품질 시뮬레이션을 수행할 수 있도록 한다. 이렇게 생성된 시뮬레이션 정보를 불로 렌더링하면 최종적으로 영상 불 효과를 생성할 수 있다.