Yo-Sung Ho

Multi-view Generation using High Resolution Stereoscopic Cameras and a Low Resolution Time-of-Flight Camera

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다 . 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라 (time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다 . 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다 . 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다 . 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다 . 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다 . 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다 . 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다 . 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다 . Key Words : 병합형 스테레오 카메라, 3차원 카메라, 3차원 비디오 시스템, 깊이영상 생성, 3차원 영상 보정, 다시점 영상 생성ABSTRACT

Real-time Eye Contact System Using a Kinect Depth Camera for Realistic Telepresence

본 논문에서는 실감 원격 영상회의를 위한 시선 맞춤 시스템을 제안한다 . 제안하는 방법은 적외선 구조광을 사용하는 Kinect 깊이 카메라를 이용해서 색상 영상과 깊이 영상을 획득하고 , 깊이 영상을 이용해서 사용자를 배경으로부터 분리한다. 깊이 카메라로부터 획득한 가공되지 않은 깊이 영상은 다양한 형태의 잡음을 가지고 있기 때문에, 첫번째 전처리 과정으로 결합형 양방향 필터를 사용해서 잡음을 제거한다 . 그 다음, 깊이값의 불연속성에 적응적인 저역 필터를 적용한다. 색상 영상과 전처리 과정을 거친 깊이 영상을 이용해서 우리는 가상시점에서의 화자를 3차원 모델로 복원한다. 전체 시스템은 GPU 기반의 병렬 프로그래밍을 통해 실시간 처리가 가능하도록 했다. 최종적으로, 우리는 시선이 조정된 원격의 화자 영상을 얻을 수 있게 된다 . 실험 결과를 통해 제안하는 시스템이 자연스러운 화자간 시선 맞춤을 실시간으로 가능하게 하는 것을 확인했다 .Key Words：Eye contact system, gaze correction, depth camera, realistic telepresence, depth image-based renderingABSTRACT

Efficient Depth Map Generation for Various Stereo Camera Arrangements

In this paper, we propose a direct depth map acquisition method for the convergence camera array as well as the parallel camera array. The conventional methods perform image rectification to reduce complexity and improve accuarcy. However, image rectification may lead to unwanted consequences for the convergence camera array. Thus, the proposed method excludes image rectification and directly extracts depth values using the epipolar constraint. In order to acquire a more accurate depth map, occlusion detection and handling processes are added. Reasonable depth values are assigned to the obtained occlusion region by the distance and color differences from neighboring pixels. Experimental results show that the proposed method has fewer limitations than the conventional methods and generates more accurate depth maps stably.

Depth Video Post-processing for Immersive Teleconference

In this paper, we present an immersive videoconferencing system that enables gaze correction between users in the internet protocol TV (IPTV) environment. The proposed system synthesizes the gaze corrected images using the depth estimation and the virtual view synthesis algorithms as one of the most important techniques of 3D video system. The conventional processes, however, causes several problems, especially temporal inconsistency of a depth video. This problem leads to flickering artifacts discomforting viewers. Therefore, in order to reduce the temporal inconsistency problem, we exploit the joint bilateral filter which is extended to the temporal domain. In addition, we apply an outlier reduction operation in the temporal domain. From experimental results, we have verified that the proposed system is sufficient to generate the natural gaze-corrected image and realize immersive videoconferencing.