Hyok Song

Multi-view Generation using High Resolution Stereoscopic Cameras and a Low Resolution Time-of-Flight Camera

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다 . 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라 (time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다 . 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다 . 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다 . 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다 . 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다 . 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다 . 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다 . 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다 . Key Words : 병합형 스테레오 카메라, 3차원 카메라, 3차원 비디오 시스템, 깊이영상 생성, 3차원 영상 보정, 다시점 영상 생성ABSTRACT

3D mesh and multi-view synthesis implementation using stereo cameras and a depth camera

In this paper, we propose a new method of 3D mesh generation and view synthesis for multi-view video generation. The multi-view video can be produced by a view synthesis method and 3D mesh using RGB+Z images which are composed of one or two RGB images and one depth image. We create 36-view images using the view synthesis method and generate 3D mesh with vertexes and faces for free view rendering. Using the image synthesis method, warping, edge compensation, upsampling and 36-view generation processes are used. For 3D mesh, depth and RGB images are converted to the component of 3D mesh data. The quality of synthesized images is measured by MOS(Mean opinion score).

Adaptive block-based disparity estimation algorithm using object disparity homogeneity

In this paper, effective algorithms for stereoscopic video coding and multi-view coding which are used in 3DAV coding are proposed. In the proposed algorithm, we refer to disparity vectors of adjacent blocks as parameters of the predictor for the disparity vector of current block. Disparity vectors of adjacent blocks extend the usability of the homogeneity. In an object, adjacent block disparities are very similar. These similar vectors result to reduce computational power. Block matching algorithm sometimes gives reconstructed image distortion. In multi-view system, this happens usually in occlusion region or region around edges. Partially matched block needs to divide blocks in quad blocks or smaller blocks to reduce this distortion. Coarse to fine hierarchical algorithm is able to get rid of noise from incorrect matching of a pixel based matching algorithm. And it also reduces computational complexity in finding matched block or pixel. There may be overall luminance difference between multi-view images caused by viewer positions. This problem can be solved by block recursive matching algorithm(BRMA). Experimental results show that this algorithm gives under 80% of calculation load and better image quality at over 0.6dB of PSNR in tested images comparing with symmetric BMA.