KR102106468B1 - 영상 처리 장치 및 방법 - Google Patents

Abstract

영상 처리 장치 및 방법이 개시된다. 본 발명에 따른 영상 처리 방법은 연속된 복수의 영상을 입력받는 단계, 복수의 영상 중 제1 영상이 입력되면, 제1 영상과 제1 영상 이전에 입력된 이전 영상의 특징점을 비교하여 제1 영상 내 배경의 움직임 정보를 획득하는 단계, 획득한 움직임 정보에 기초하여 제1 영상 내 배경을 보정한 배경 정합 영상을 생성하는 단계, 주성분 분석 알고리즘을 이용하여 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득하는 단계 및 노이즈 성분이 제거된 배경 영상을 출력하는 단계를 포함한다. 이에 따라, 영상 처리 장치는 열 영상 카메라를 통해 촬영된 영상 내 포함된 다양한 노이즈를 제거할 수 있다.

Description

영상 처리 장치 및 방법{Apparatus and method for image processing}

본 발명은 영상 처리 장치 및 방법에 관한 것으로써, 보다 상세하게는, 열 영상 카메라를 통해 촬영된 영상 내 포함된 노이즈를 제거하기 위한 영상 처리 장치 및 방법에 관한 것이다.

전자 광학 추적 장비 혹은 표적을 탐지/추적/획득하는 기기는 열 영상 카메라를 통해 영상을 촬영한다.

그러나, 이 같은 장비 혹은 기기에 구비된 열 영상 카메라를 통해 촬영된 영상은 불량 화소, 줄무늬 현상, 화면에 고정된 노이즈 등과 같은 다양한 노이즈를 포함한다.

한편, 종래에는 NUC(Non-uniformity correction), TPC(Two-point correction), SBNUC(Scene based NUC), FiSC(Feedback-integrated scene cancellation) 및 WNNM(Weighted nuclear norm minimization) 등과 같은 다양한 노이즈 제거 방식을 이용하여 열 영상 카메라를 통해 촬영된 영상 내 노이즈를 제거하였다.

그러나, 이 같은 종래의 노이즈 제거 방식을 통해 영상 내 노이즈를 제거할 경우, 경과 시간에 따라 노이즈가 재발생되거나, 영상 내 노이즈 제거하는 동안 일시적으로 화면을 보지 못하는 문제가 있다.

뿐만 아니라, 종래의 노이즈 제거 방식은 영상 내 포함된 노이즈 중 시변 조건에 따라 고정적(time invariant)인 정적 특성 에 속하는 노이즈(Fixed pattern(grid, cloud, etc.), Shading phenomenon, Dead pixels)에 대해서만 개선이 가능하였고, 동적인 특성을 가진 노이즈(Moving dots and lines, Wavefront abberation, Long term variant(LTV) fixed pattern noise)에 대해서 개선하지 못하는 한계 사항이 있다.

따라서, 정적 특성에 속하는 노이즈 뿐만 아니라, 동적인 특성을 가진 노이즈를 제거하기 위한 방안이 모색되어야 할 필요가 있다.

본 발명은 상술한 필요성에 의해 안출된 것으로, 본 발명의 목적은 열 영상 카메라를 통해 촬영된 영상 내 포함된 노이즈를 개선하기 위한 기술이다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 방법은 연속된 복수의 영상을 입력받는 단계, 상기 복수의 영상 중 제1 영상이 입력되면, 상기 제1 영상과 상기 제1 영상 이전에 입력된 이전 영상의 특징점을 비교하여 상기 제1 영상 내 배경의 움직임 정보를 획득하는 단계, 상기 획득한 움직임 정보에 기초하여 상기 제1 영상 내 배경을 보정한 배경 정합 영상을 생성하는 단계, 주성분 분석 알고리즘을 이용하여 상기 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득하는 단계 및 상기 노이즈 성분이 제거된 배경 영상을 출력하는 단계를 포함한다.

그리고, 상기 배경 정합 영상은, 상기 움직임 정보에 의해 상기 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 노이즈 성분을 포함할 수 있다.

또한, 상기 배경 정합 영상을 생성하는 단계는, 상기 움직임 정보에 기초하여 상기 제1 영상 내 배경을 상기 이전 영상 내 배경으로 정합되도록 보정한 영상일 수 있다.

그리고, 상기 움직임 정보를 획득하는 단계는, 상기 노이즈 영상이 획득되거나 혹은 상기 배경 영상이 출력되는 동안 제2 영상이 입력되면, 상기 제2 영상 및 상기 제1 영상의 특징점을 비교하여 상기 제2 영상 내 배경의 움직임 정보를 획득할 수 있다.

또한, 상기 제2 영상 내 배경의 움직임 정보와 기 설정된 임계 값을 비교하는 단계 및 상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값 이하이면, 상기 획득한 노이즈 영상을 이용하여 상기 제2 영상 내 포함된 노이즈 성분을 제거하는 단계를 더 포함할 수 있다.

그리고, 상기 생성하는 단계는, 상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값을 초과하면, 상기 제2 영상 내 배경의 움직임 정보에 기초하여 상기 제2 영상 내 배경을 보정하여 배경 정합 영상을 생성할 수 있다.

또한, 상기 복수의 영상은, 열 영상 센서를 통해 촬영된 영상일 수 있다.

한편, 본 발명의 또다른 실시 예에 따르면, 영상 처리 장치는, 연속된 복수의 영상을 입력받는 입력부, 출력부 및 상기 복수의 영상 중 제1 영상이 입력되면, 상기 제1 영상과 상기 제1 영상 이전에 입력된 이전 영상의 특징점을 비교하여 상기 제1 영상 내 배경의 움직임 정보를 획득하고, 상기 획득한 움직임 정보에 기초하여 상기 제1 영상 내 배경을 보정한 배경 정합 영상을 생성하며, 주성분 분석 알고리즘을 이용하여 상기 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한 후, 상기 노이즈 성분이 제거된 배경 영상을 출력하도록 상기 출력부를 제어하는 프로세서를 포함한다.

그리고, 상기 배경 정합 영상은, 상기 움직임 정보에 의해 상기 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 노이즈 성분을 포함할 수 있다.

또한, 상기 프로세서는, 상기 움직임 정보에 기초하여 상기 제1 영상 내 배경을 상기 이전 영상 내 배경으로 정합되도록 보정할 수 있다.

그리고, 상기 프로세서는, 상기 노이즈 영상이 획득되거나 혹은 상기 배경 영상이 출력되는 동안 제2 영상이 입력되면, 상기 제2 영상 및 상기 제1 영상의 특징점을 비교하여 상기 제2 영상 내 배경의 움직임 정보를 획득할 수 있다.

또한, 상기 프로세서는, 상기 제2 영상 내 배경의 움직임 정보와 기 설정된 임계 값을 비교하여, 상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값 이하이면, 상기 획득한 노이즈 영상을 이용하여 상기 제2 영상 내 포함된 노이즈 성분을 제거할 수 있다.

그리고, 상기 프로세서는, 상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값을 초과하면, 상기 제2 영상 내 배경의 움직임 정보에 기초하여 상기 제2 영상 내 배경을 보정하여 배경 정합 영상을 생성할 수 있다.

또한, 상기 복수의 영상은, 열 영상 센서를 통해 촬영된 영상일 수 있다.

이상과 같이, 본 발명에 따른 영상 처리 장치는 열 영상 카메라를 통해 촬영된 영상 내 포함된 다양한 노이즈(고정형태 노이즈, 그림자무늬 노이즈, 데트픽셀, 모양이 변하는 움직이는 점이나 줄 형태의 노이즈, 화면의 움직임 성분의 노이즈 등)를 제거하는데 효과적이다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 블록도,
도 2a는 본 발명의 일 실시예에 따른 영상 처리 장치의 프로세서에 대한 제1 세부 블록도,
도 2b는 본 발명의 또다른 실시예에 따른 영상 처리 장치의 프로세서에 대한 제2 세부 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 세부 블록도,
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 배경 정합 영상을 생성하는 예시도,
도 5는 본 발명의 일 실시예에 따른 영상 처리 장치에서 생성된 배경 정합 영상을 이용하여 노이즈 성분이 제거된 배경 영상을 생성하는 예시도,
도 6은 본 발명의 일 실시예에 따른 SSNR 노이즈 측정 방식을 이용하여 영상 내 노이즈 성분을 측정하는 예시도,
도 7은 본 발명의 일 실시예에 따른 SNM 노이즈 측정 방식을 이용하여 노이즈 성분을 포함하는 영상과 영상 처리 장치를 통해 노이즈가 제거된 영상 사이의 노이즈 성분을 측정한 결과값을 나타내는 예시도,
도 8은 본 발명의 일 실시예에 따른 VSSIM(Varians Structural Similarity) 노이즈 측정 방식을 이용하여 영상의 품질을 측정한 결과를 나타내는 예시도,
도 9는 본 발명에 따른 영상 처리 장치의 노이즈 개선 방식 및 종래의 노이즈 개선 방식을 통해 노이즈가 개선된 영상을 나타내는 예시도,
도 10은 본 발명의 일 실시예에 따른 영상 처리 장치에서 영상 내 포함된 노이즈 제거을 위한 영상 처리 방법에 대한 흐름도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 물리적인 연결 뿐만 아니라 무선 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 블록도이다.

도 1에 도시된 바와 같이, 영상 처리 장치(100)는 입력부(110), 출력부(120) 및 프로세서(130)를 포함한다.

입력부(110)는 연속된 복수의 영상을 입력받는다. 여기서, 영상은 열 영상 센서(미도시)를 포함하는 카메라를 통해 촬영된 영상이 될 수 있다.

출력부(120)는 입력부(110)를 통해 입력된 영상과 관련하여 보정된 영상을 출력한다.

프로세서(130)는 영상 처리 장치(100)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다.

특히, 프로세서(130)는 복수의 영상 중 제1 영상이 입력부(110)를 통해 입력되면, 입력된 제1 영상과 제1 영상 이전에 입력된 이전 영상의 특징점을 비교하여 제1 영상 내 배경의 움직임 정보를 획득한다.

이후, 프로세서(130)는 획득한 움직임 정보에 기초하여 제1 영상 내 배경을 보정한 배경 정합 영상을 생성한다.

여기서, 배경 정합 영상은 기 획득한 움직임 정보에 의해 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 노이즈 성분을 포함할 수 있다. 그리고, 제1 영상 내 포함된 노이즈 성분은 고정된 노이즈가 될 수 있다.

이후, 프로세서(130)는 주성분 분석 알고리즘을 이용하여 기생성된 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한다.

이 같이, 제1 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상이 획득되면, 프로세서(130)는 노이즈 성분이 제거된 배경 영상을 출력하도록 출력부(120)를 제어한다.

이에 따라, 출력부(120)는 노이즈 성분이 제거된 배경 영상을 출력할 수 있다.

구체적으로, 프로세서(130)는 제1 영상이 입력되면, 특징점 분석 알고리즘을 이용하여 현재 입력된 제1 영상과 제1 영상 이전에 입력된 이전 영상 각각에 포함된 오브젝트에 대한 특징점을 획득한다. 이후, 프로세서(130)는 제1 영상과 이전 영상으로부터 획득한 특징점을 비교하여 제1 영상 내 배경과 이전 영상 내 배경 간의 움직임 정보를 획득한다.

이후, 프로세서(130)는 기 획득한 움직임 정보에 기초하여 제1 영상 내 배경을 보정한 배경 정합 영상을 생성한다.

실시예에 따라, 프로세서(130)는 기 획득한 움직임 정보에 기초하여 제1 영상 내 배경을 이전 영상 내 배경으로 정합되도록 보정하여 배경 정합 영상을 생성할 수 있다.

그러나, 본 발명은 이에 한정되지 않으며, 프로세서(130)는 기 획득한 움직임 정보에 기초하여 제1 영상 내 배경이 제1 영상 내 배경과 이전 영상 내 배경 사이에 정합되도록 보정하여 배경 정합 영상을 생성할 수 있다.

한편, 제1 영상 내에는 노이즈 성분이 포함될 수 있다. 따라서, 움직임 정보에 기초하여 제1 영상에 대한 배경 정합 영상이 생성될 경우, 제1 영상 내 포함된 노이즈 성분은 기 획득한 움직임 정보에 의해 변화될 수 있다.

따라서, 제1 영상에 대한 배경 정합 영상은 움직임 정보에 의해 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 노이즈 성분을 포함할 수 있다.

이 같은 움직임 노이즈 성분을 포함하는 배경 정합 영상이 생성되면, 프로세서(130)는 주성분 분석 알고리즘을 이용하여 기생성된 제1 영상에 대한 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한다.

주성분 분석 알고리즘을 이용하여 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득하는 동작은 하기에서 상세히 설명하도록 한다.

한편, 프로세서(130)는 제1 영상에 대한 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상이 획득되면, 노이즈 성분이 제거된 배경 영상을 출력하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 제1 영상과 관련하여 노이즈 성분이 제거된 배경 영상을 출력할 수 있다.

한편, 프로세서(130)는 제1 영상에 대한 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상이 획득되거나 혹은 노이즈 성분이 제거된 배경 영상이 출력되는 동안 제2 영상이 입력되면, 제2 영상 및 제1 영상의 특징점을 비교하여 제2 영상 내 배경의 움직임 정보를 획득한다.

이후, 프로세서(130)는 기 획득한 제2 영상 내 배경의 움직임 정보가 기 설정된 임계 값 이하인지 여부를 판단한다.

판단 결과, 제2 영상 내 배경의 움직임 정보가 기 설정된 임계 값 이하이면, 프로세서(130)는 제1 영상과 관련하여 기 획득한 노이즈 영상을 이용하여 제2 영상 내 포함된 노이즈 성분을 제거한다.

이후, 프로세서(130)는 제2 영상에서 노이즈 성분이 제거된 배경 영상을 출력하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 제2 영상과 관련하여 노이즈 성분이 제거된 배경 영상을 출력할 수 있다.

한편, 프로세서(130)는 제2 영상 내 배경의 움직임 정보가 기 설정된 임계 값을 초과하면, 전술한 바와 같이, 제2 영상 내 배경의 움직임 정보에 기초하여 제2 영상 내 배경을 보정하여 배경 정합 영상을 생성한다.

이후, 프로세서(130)는 주성분 분석 알고리즘을 이용하여 제2 영상과 관련하여 생성된 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한다.

이후, 프로세서(130)는 제2 영상과 관련하여 노이즈 성분이 제거된 배경 영상을 출력하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 제2 영상과 관련하여 노이즈 성분이 제거된 배경 영상을 출력할 수 있다.

이하에서는, 입력된 영상으로부터 노이즈 성분이 제거된 배경 영상을 획득하는 프로세서(130)에 대해서 보다 상세히 설명하도록 한다.

도 2a는 본 발명의 일 실시예에 따른 영상 처리 장치의 프로세서에 대한 제1 세부 블록도이며, 도 2b는 본 발명의 또다른 실시예에 따른 영상 처리 장치의 프로세서에 대한 제2 세부 블록도이다.

도 2a에 도시된 바와 같이, 프로세서(130)는 움직임 분석부(131), 배경 정합 영상 생성부(132), 영상 획득부(133) 및 비교부(134)를 포함할 수 있다.

움직임 분석부(131)는 입력부(110)를 통해 연속된 복수의 영상이 입력되면, 특징점 검출 알고리즘을 이용하여 입력된 영상 내 포함된 배경에 대한 특징점을 검출한다. 여기서, 입력된 영상은 열 영상 센서(미도시)를 포함하는 카메라를 통해 촬영된 영상이 될 수 있다.

그리고, 특징점 검출 알고리즘은 아래와 같은 [수학식 1]을 통해 구현될 수 있다.

여기서, Dx,Dy' 및 Dt는 변수 x,y,t 각각에 대한 영상의 편미분이며, OM은 광학적 움직임 백터(Optical Movemnet Vector)이며, Vx 및 Vy는 로컬 플로우 백터가 될 수 있다.

따라서, 움직임 분석부(131)는 입력부(110)를 통해 제1 영상이 입력되면, 전술한 [수학식 1]을 이용하여 제1 영상 내 포함된 배경에 대한 특징점을 검출할 수 있다.

이후, 움직임 분석부(131)는 입력된 제1 영상으로부터 검출된 특징점과 제1 영상이 입력되기 이전에 입력된 이전 영상으로부터 검출된 특징점을 비교하여 제1 영상 내 포함된 배경의 움직임 정보를 획득한다.

배경 정합 영상 생성부(132)는 움직임 분석부(131)를 통해 획득한 움직임 정보에 기초하여 제1 영상 내 배경을 보정한 배경 정합 영상을 생성한다. 구체적으로, 배경 정합 영상 생성부(132)는 기 획득한 움직임 정보에 기초하여 제1 영상 내 배경을 이전 영상 내 배경으로 정합되도록 보정하여 배경 정합 영상을 생성할 수 있다.

그러나, 본 발명은 이에 한정되지 않으며, 배경 정합 영상 생성부(132)는 기 획득한 움직임 정보에 기초하여 제1 영상 내 배경이 제1 영상 내 배경과 이전 영상 내 배경 사이에서 정합되도록 보정하여 배경 정합 영상을 생성할 수 있다.이 같은 배경 정합 영상은 기 획득한 움직임 정보에 의해 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 노이즈 성분을 포함할 수 있다.

영상 획득부(133)는 주성분 분석 알고리즘을 이용하여 배경 정합 영상 생성부(132)를 통해 생성된 제1 영상에 대한 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한다.

여기서, 주성분 분석(Principal Component Analysis) 알고리즘은 아래와 같은 [수학식 2]을 통해 구현될 수 있다.

여기서, L은 영상의 주성분(low rank part)이고, S는 영상의 보조성분(sparse part)이며, λ는 보조성분 S를 조절하기 위한 계수(coefficient to control the amount of sparsisy S)이다.

이후, 영상 획득부(133)는 제1 영상에 대한 배경 정합 영상으로부터 획득한 노이즈 성분이 제거된 배경 영상을 출력부(120)로 출력할 수 있다.

비교부(134)는 입력된 영상의 움직임 정보가 기 설정된 임계 값 이하인지 여부를 판단한다.

구체적으로, 움직임 분석부(131)는 전술한 제1 영상이 입력된 후, 제2 영상이 입력되면, 입력된 제2 영상 내 포함된 전술한 바와 같이 특징점 분석 알고리즘을 이용하여 제2 영상 내 포함된 배경에 대한 움직임 정보를 획득한다.

제2 영상 내 포함된 배경에 대한 움직임 정보가 획득되면, 비교부(134)는 제2 영상 내 포함된 배경에 대한 움직임 정보와 기 설정된 임계 값을 비교하여 제2 영상 내 포함된 배경에 대한 움직임 정보가 기 설정된 임계 값 이하인지 여부를 판단한다.

판단 결과, 제2 영상 내 포함된 배경에 대한 움직임 정보가 기 설정된 임계 값 이하이면, 영상 획득부(133)는 제1 영상에 대한 배경 정합 영상으로부터 획득한 노이즈 영상을 이용하여 제2 영상 내 포함된 노이즈 성분을 제거한다. 이후, 영상 획득부(133)는 제2 영상 내 포함된 노이즈 성분이 제거된 배경 영상을 출력부(120)로 출력한다.

한편, 비교부(134)를 통해 제2 영상 내 포함된 배경에 대한 움직임 정보가 기 설정된 임계 값을 초과하면, 배경 정합 영상 생성부(132)는 기 획득한 제1 및 제2 영상 내 포함된 배경에 대한 움직임 정보에 기초하여 제2 영상에 대한 배경 정합 영상을 생성할 수 있다.

이후, 영상 획득부(133)는 주성분 분석 알고리즘을 이용하여 제2 영상에 대한 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한다.

이 같은 배경 정합 영상 생성부(132) 및 영상 획득부(133)에 대한 동작 설명은 상기에서 상세히 설명하였으므로, 이하에서는 상세한 설명을 생략하도록 한다.

그러나, 본 발명은 이에 한정되지 않으며, 비교부(134)는 도 2b에 도시된 바와 같이, 배경 정합 영상 생성부(132)를 통해 생성된 제2 영상에 대한 배경 정합 영상 내 포함된 움직임 노이즈 성분과 이전 영상인 제1 영상에 대한 배경 정합 영상 내 포함된 움직임 노이즈 성분 간의 차이가 기 설정된 임계 값 이하인지 여부를 판단할 수 있다.

판단 결과, 두 움직임 노이즈 성분 간의 차이가 기 설정된 임계 값 이하이면, 영상 획득부(133)는 제1 영상에 대한 배경 정합 영상으로부터 획득한 노이즈 영상을 이용하여 제2 영상 내 포함된 노이즈 성분을 제거한다. 이후, 영상 획득부(133)는 제2 영상 내 포함된 노이즈 성분이 제거된 배경 영상을 출력부(120)로 출력한다.

한편, 비교부(134)를 통해 제2 영상 내 포함된 배경에 대한 움직임 정보가 기 설정된 임계 값을 초과하면, 영상 획득부(133)는 주성분 분석 알고리즘을 이용하여 배경 정합 영상 생성부(132)를 통해 획득한 제2 영상에 대한 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한다.

이 같은 배경 정합 영상 생성부(132) 및 영상 획득부(133)에 대한 동작 설명은 상기에서 상세히 설명하였으므로, 이하에서는 상세한 설명을 생략하도록 한다.

이하에서는 전술한 영상 처리 장치(100)의 세부 구성에 대해서 상세히 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 세부 블록도이다.

전술한 바와 같이, 입력부(110)는 열 영상 센서(미도시)를 포함하는 카메라(150)를 통해 촬영된 영상을 입력받는다. 뿐만 아니라, 입력부(110)는 다양한 사용자 명령을 입력받아 프로세서(130)로 전달할 수 있다.

구체적으로, 입력부(110)는 마이크(미도시)를 통해 사용자의 음성 명령을 입력받거나, 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(미도시)를 통해 사용자의 조작 명령을 입력받을 수 있다. 또한, 입력부(110)는 영상 처리 장치(100)의 동작을 외부에서 제어하는 기기로부터 영상 처리 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.

전술한 출력부(120)는 디스플레이부(121) 및 오디오 출력부(122)를 포함할 수 있다.

디스플레이부(121)는 영상을 출력한다. 구체적으로, 디스플레이부(120)는 입력부(110)를 통해 입력된 영상 내 포함된 노이즈 성분이 제거된 배경 영상을 출력한다.

오디오 출력부(122)는 입력부(110)를 통해 입력된 영상 내 포함된 노이즈 성분이 제거된 배경 영상과 관련된 정보를 오디오 형태로 출력할 수 있다.

이 같은 입력부(110), 출력부(120) 및 프로세서(130)를 포함하는 영상 처리 장치(100)는 전술한 구성 외에도 도 3에 도시된 바와 같이, 통신부(140), 카메라(150) 및 저장부(160)를 더 포함할 수 있다.

통신부(140)는 스마트 TV, 스마트 폰 등의 주변 기기(미도시), 영상 처리 장치(100)가 탑재된 군사용 항공기, 함정, 의료 기기 등과 연관된 서버(미도시)와 데이터 통신을 수행한다.

이 같은 통신부(140)는 근거리 통신 모듈, 무선 랜 모듈 등의 무선 통신 모듈과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus) 등을 포함할 수 있다.

여기서, 근거리 통신 모듈은 전술한 주변 기기(미도시), 서버(미도시) 등과 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈은 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.

무선 통신 모듈은 EEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.

뿐만 아니라, 통신부(140)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 커넥터를 더 포함할 수 있다.

카메라(150)는 영상을 촬영한다. 구체적으로, 카메라(150)는 열 영상 센서(미도시)를 통해 연속된 열 영상을 촬영할 수 있다.

저장부(160)는 카메라(150)를 통해 촬영된 영상, 촬영된 영상과 관련하여 생성된 배경 정합 영상, 배경 정합 영상으로부터 획득된 배경 영상 및 노이즈 영상 등을 저장할 수 있다.

뿐만 아니라, 저장부(160)는 영상 처리 장치(100)의 동작을 제어하기 위한 운영 프로그램을 더 저장할 수 있다.

여기서, 운용 프로그램은 영상 처리 장치(100)가 턴 온(Turn On)되는 경우, 저장부(160)에서 읽혀지고, 컴파일되어 영상 처리 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다. 이 같은 저장부(160)는 후술할 롬(ROM)(136), 램(RAM)(136) 또는 영상 처리 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.

한편, 전술한 프로세서(130)는 영상 처리 장치(100)의 동작을 전반적으로 제어하거나, 혹은 영상 처리 장치(100)의 전반적인 동작을 제어할 수 있도록 하는 처리 장치가 될 수 있다.

이 같은 프로세서(130)는 CPU(135), ROM(136), RAM(137) 및 GPU(138)를 포함할 수 있으며, CPU(135), ROM(136), RAM(137) 및 GPU(138)는 버스(139)를 통해 서로 연결될 수 있다.

CPU(135)는 저장부(160)를 액세스하여, 저장부(160)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(135)는 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

GPU(136)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(136)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표 값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.

ROM(137)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU(135)는 ROM(137)에 저장된 명령어에 따라 저장부(160)에 저장된 OS를 RAM(136)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(135)는 저장부(160)에 저장된 각종 프로그램을 RAM(136)에 복사하고, RAM(136)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.

이 같은 프로세서(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 배경 정합 영상을 생성하는 예시도이다.

도 4의 (a)에 도시된 바와 같이, 제1 영상이 입력되면, 영상 처리 장치(100)는 특징점 분석 알고리즘을 이용하여 입력된 제1 영상 내 포함된 오브젝트에 대한 특징점(410)을 획득한다.

이후, 영상 처리 장치(100)는 도 4의 (b)에 도시된 바와 같이, 제1 영상이 입력되기 전에 입력된 이전 영상의 특징점과 제1 영상으로부터 획득한 특징점을 비교하여 제1 영상 내 배경과 이전 영상 내 배경 간의 움직임 정보(420)를 획득한다.

이후, 영상 처리 장치(100)는 도 4의 (c)에 도시된 바와 같이, 기 획득한 움직임 정보에 기초하여 제1 영상 내 배경을 보정한 배경 정합 영상(430)을 생성한다.

도 5는 본 발명의 일 실시예에 따른 영상 처리 장치에서 생성된 배경 정합 영상을 이용하여 노이즈 성분이 제거된 배경 영상을 생성하는 예시도이다.

도 5에 도시된 바와 같이, 영상 처리 장치(100)는 제1 영상이 입력되면, 입력된 제1 영상과 제1 영상 이전에 입력된 이전 영상에 기초하여 제1 영상에 대한 배경 정합 영상(510)을 생성할 수 있다.

이후, 영상 처리 장치(100)는 주성분 분석 알고리즘을 이용하여 제1 영상에 대한 배경 정합 영상(510)으로부터 노이즈 성분이 제거된 배경 영상(530)과 노이즈 영상(520)을 획득할 수 있다.

즉, 영상 처리 장치(100)는 도 5에 도시된 바와 같이, 배경 정합 영상(510)에서 노이즈 영상(520)에 포함된 노이즈 성분을 제거하여 배경 영상(530)을 생성할 수 있다.

이하에서는, 본 발명에 따른 영상 처리 장치(100)를 통해 입력된 영상 내 포함된 노이즈를 제거한 결과를 제공하기 위한 노이즈 측정 방식에 대해서 설명하도록 한다.

이하에서는, 다음과 같은 노이즈 측정 방식을 이용하여 본 발명에 따른 영상 처리 장치(100)를 통해 보정된 배경 영상에 대한 노이즈 개선 정도를 측정하는 방법에 대해서 상세히 설명하도록 한다.

본 발명에서는 SSNR(Subtraction Signal-to-noise), SNM(Sum of Noise Map) 및 VSSIM(Variant Structural Similarity) 노이즈 측정 방식을 이용하여, 본 발명에 따른 영상 처리 장치(100)를 통해 보정된 배경 영상에 대한 노이즈 개선 정도를 측정할 수 있다.

SSNR(Subtraction Signal-to-noise) 노이즈 측정 방식은 영상 내 포함된 노이즈 패턴과 노이즈 움직임을 검출하고, 검출된 노이즈 패턴과 노이즈 움직임 정보에 기초하여 영상 내 노이즈 성분이 얼마나 적은지를 측정하는 방식으로써, 아래와 같은 [수학식 3]을 통해 구현될 수 있다.

여기서, m,n은 영상의 사이즈이며, Kt 및 Kt+1은 노이즈를 포함하는 연속된 영상이며, MAXI는 영상의 최대 픽셀 밝기를 나타낸다.

도 6은 본 발명의 일 실시예에 따른 SSNR 노이즈 측정 방식을 이용하여 영상 내 노이즈 성분을 측정하는 예시도이다.

도 6의 (a)에 도시된 바와 같이, 열 영상 센서(미도시)를 포함하는 카메라를 통해 촬영된 영상(610)으로부터 도 6의 (b)에 도시된 바와 같이, 수평 라인의 노이즈 성분을 포함하는 노이즈 영상(620)이 획득될 수 있다.

그리고, 전술한 SSNR 노이즈 측정 방식을 이용하여 수평 라인의 노이즈 성분을 포함하는 노이즈 영상(620)으로부터 38.6801dB에 해당하는 SSNR 값이 측정될 수 있다.

또한, 도 6의 (c)에 도시된 바와 같이, 열 영상 센서(미도시)를 포함하는 카메라를 통해 촬영된 영상(630)으로부터 도 6의 (d)에 도시된 바와 같이, 수평 및 수직 라인의 노이즈 성분과 도트(dot) 노이즈 성분을 포함하는 노이즈 영상(640)이 획득될 수 있다.

그리고, 전술한 SSNR 노이즈 측정 방식을 이용하여 수평 및 수직 라인의 노이즈 성분과 도트(dot) 노이즈 성분을 포함하는 노이즈 영상(640)으로부터 34.5074dB에 해당하는 SSNR 값이 측정될 수 있다.

SNM(Sum of Noise Map) 노이즈 측정 방식은 노이즈 맵을 이용하여 임계 값 이상의 값을 노이즈로 판단하는 방식이다.

구체적으로, SNM(Sum of Noise Map) 노이즈 측정 방식은 노이즈가 있는 영상에서 에지 영역을 분석하여 에지 영역을 확장 혹은 축소하거나 해당 에지 영역이 강조되도록 영상 처리하여 노이즈 성분이 강조된 영상을 생성한다.

이후, SNM(Sum of Noise Map) 노이즈 측정 방식은 노이즈 성분이 강조된 영상 내 포함된 노이즈 성분에 기초하여 노이즈 맵 영상을 생성한다.

이후, SNM(Sum of Noise Map) 노이즈 측정 방식은 3차원 도메인 상에서 기생성된 노이즈 맵 영상 내 포함된 노이즈 중 기 설정된 임계 값 이상의 레벨을 가지는 노이즈 성분을 추출하고, 추출된 노이즈 성분을 측정하는 방식이다.

도 7은 본 발명의 일 실시예에 따른 SNM 노이즈 측정 방식을 이용하여 노이즈 성분을 포함하는 영상과 영상 처리 장치를 통해 노이즈가 제거된 영상 사이의 노이즈 성분을 측정한 결과값을 나타내는 예시도이다.

도 7의 (a)에 도시된 제1 노이즈 맵 영상(714)은 노이즈 성분을 포함하는 제1 영상(710)으로부터 생성된 영상이다.

즉, SNM 노이즈 측정 방식은 노이즈 성분을 포함하는 제1 영상(710)에서 에지 영역을 분석하고, 분석된 에지 영역이 강조되도록 영상 처리하여 노이즈 성분이 강조된 제1 노이즈 맵 영상(714)을 생성할 수 있다.

이후, 도 7의 (b)에 도시된 바와 같이, SNM 노이즈 측정 방식은 3차원 도메인 상에서, 제1 노이즈 맵 영상(714)에 포함된 노이즈 중 기 설정된 임계 값 이상의 레벨을 가지는 노이즈 성분을 측정하여 179.17k[pixels]이라는 노이즈 값이 산출될 수 있다. 즉, 제1 영상(714) 내 포함된 노이즈 성분은 SNM 노이즈 측정 방식을 통해 179.17k[pixels]이라는 결과값이 산출될 수 있다.

한편, 도 7의 (c)에 도시된 제2 노이즈 맵 영상(724)은 본 발명에 따른 영상 처리 장치(100)를 통해 노이즈 성분이 제거된 제2 영상(720)으로부터 생성된 영상이다.

즉, SNM 노이즈 측정 방식은 본 발명에 따른 영상 처리 장치(100)를 통해 노이즈 성분이 제거된 제2 영상(720)에서 에지 영역을 분석하고, 분석된 에지 영역이 강조되도록 영상 처리하여 노이즈 성분이 강조된 제2 노이즈 맵 영상(724)을 생성할 수 있다.

이후, 도 7의 (d)에 도시된 바와 같이, SNM 노이즈 측정 방식은 3차원 도메인 상에서, 제2 노이즈 맵 영상(724)에 포함된 노이즈 중 기 설정된 임계 값 이상의 레벨을 가지는 노이즈 성분을 측정하여 17.94k[pixels]이라는 노이즈 값이 산출될 수 있다. 즉, 제2 영상(724) 내 포함된 노이즈 성분은 SNM 노이즈 측정 방식을 통해 17.94k[pixels]이라는 결과값이 산출될 수 있다.

이 같은 결과값을 통해, 본 발명에 따른 영상 처리 장치(100)를 이용하여 영상 처리를 수행할 경우, 열 영상 센서(미도시)를 포함하는 카메라를 통해 촬영된 영상 내 노이즈 성분이 현저히 감소되는 것을 알 수 있다.

VSSIM(Varians Structural Similarity) 노이즈 측정 방식은 실측 영상(Ground Truth(GT) Image)을 이용하여 입력 영상의 품질을 측정하는 방식이다.

여기서, 실측 영상은 이전 영상이 될 수 있다.

즉, VSSIM(Varians Structural Similarity) 노이즈 측정 방식은 이전 영상과 입력 영상의 특징(밝기(luminance), 대조(contrast), 구조적 특징(structural terms))을 이용하여 입력 영상 내 노이즈를 판단하여 해당 입력 영상에 대한 품질을 측정하는 방식이 될 수 있다.

이 같은 VSSIM(Varians Structural Similarity) 노이즈 측정 방식은 아래와 같은 [수학식 4]를 통해 구현될 수 있다.

여기서, l은 밝기(luminance)이며, c는 대조(contrast)이며, s는 구조적 특징(structrual terms)을 나타낸다.

그리고, μx0, μx1은 영역(local)을 나타내며, ?x0, ?x1은 표준 편차를 나타내며, ?x0x1은 영상(μx0, μx1)에 대한 교차 공분산(cross covariance)를 나타낸다.

그리고, C1 = (0.01 * L)2이며, C2 = (0.03 * L)2이며, C3 = C2/2이고, 여기서, L은 특정 다이나믹 레인지 값(dynamic range value)이다.

그리고, [수학식 4]를 통해 산출된 값은 - 1 과 1 사이에서 존재하며, 1가 가까울수록 영상의 품질이 높은 것으로 판단할 수 있다.

이 같은 VSSIM(Varians Structural Similarity) 노이즈 측정 방식을 이용하여 노이즈을 포함하는 영상의 품질과 노이즈가 제거된 영상의 품질을 측정할 수 있다.

도 8은 본 발명의 일 실시예에 따른 VSSIM(Varians Structural Similarity) 노이즈 측정 방식을 이용하여 영상의 품질을 측정한 결과를 나타내는 예시도이다.

도 8의 (a)에 도시된 영상은 노이즈를 포함하는 제1 영상(810)이며, 도 8의 (b)에 도시된 영상은 본 발명에 따른 영상 처리 장치(100)를 통해 노이즈가 제거된 제2 영상(820)이 입력될 수 있다.

그리고, 도 8의 (c)에 도시된 영상은 제1 영상(810) 내 포함하는 노이즈에 대한 제1 노이즈 맵 영상(811)이 될 수 있으며, 도 8의 (d)에 도시된 영상은 본 발명에 따른 영상 처리 처리(100)를 통해 노이즈가 제거된 제2 영상(820)에 대한 노제2 이즈 맵 영상(821)이 될 수 있다.

이 같은 제1 및 제2 노이즈 맵 영상(811,821) 각각에 대한 VSSIM을 측정할 경우, 제1 노이즈 맵 영상(811)의 VSSIM 값은 0.8814이며, 제2 노이즈 맵 영상(821)의 VSSIM 값은 0.9947dl 될 수 있다.

이 같은 실험을 통해, 본 발명에 따른 영상 처리 장치(100)를 통해 노이즈가 제거된 제2 영상(820)이 제1 영상(810)에 비해 품질이 높은 것을 알 수 있다.

이하에서는 본 발명에 따른 노이즈 제거 방식과 종래의 노이즈 제거 방식에 대한 실험 결과에 대해서 설명하도록 한다.

도 9는 본 발명에 따른 영상 처리 장치의 노이즈 개선 방식 및 종래의 노이즈 개선 방식을 통해 노이즈가 개선된 영상을 나타내는 예시도이다.

도 9에 도시된 바와 같이, 본 발명에 따른 영상 처리 장치(100)를 통해 영상 내 포함된 노이즈를 제거한 배경 영상(930)과 종래의 노이즈 제거 방식(NUC, WNNM)을 이용하여 영상 내 포함된 노이즈를 제거한 배경 영상(910,920)을 비교하면, 본 발명에 따른 영상 처리 장치(100)를 통해 영상 내 포함된 노이즈를 제거한 배경 영상(930)의 품질이 종래의 노이즈 제거 방식(NUC, WNNM)을 이용하여 노이즈를 제거한 배경 영상(910,920)의 품질 보다 우수한 것을 알 수 있다.

즉, 본 발명에 따른 영상 처리 장치(100)의 노이즈 제거 방식 및 종래의 노이즈 제거 방식을 통해 노이즈가 제거된 각각의 배경 영상(910~930)에서 특정 영역(911,921,931)을 확대한 확대 영역(911',921',931')을 비교해보면, 본 발명에 따른 영상 처리 장치(100)의 노이즈 제거 방식이 종래의 노이즈 제거 방식에 비해 영상 내 포함된 노이즈의 개선이 향상된 것을 알 수 있다.

즉, 본 발명에 따른 영상 처리 장치(100)를 이용한 노이즈 제거 방식이 종래의 다양한 노이즈 제거 방식(NCU, TPC, SBNUC, FiSC) 보다 영상 내 포함된 다양한 노이즈 타입을 제거할 수 있다.

구체적으로, 종래의 NUC(Non-unifromity correction), TPC(Two-point correction), SBNUC(Scene based NUC), FiSC(Feedback-integrated scene cancellation) 및 WNNM(Weighted nuclear minimization) 각각의 노이즈 제거 방식은 영상 내 포함된 노이즈 중 Baisc Types of Noise에 속하는 노이즈에 대해서만 개선할 뿐, 동적인 특성을 가진(Problematic Noise) 노이즈들에 대해서 개선하지 못하는 것을 알 수 있다.

이 같은 NCU, TPC, SBNUC, FiSC 각각의 노이즈 제거 방식은 공지된 기술이므로, 본 발명에서는 상세한 설명을 생략하도록 한다.

반면, 본 발명에 따른 노이즈 제거 방식을 이용할 경우, 영상 내 포함된 Baisc Types of Noise 및 Problematic Noise에 속하는 모든 노이즈가 개선되는 것을 알 수 있다.

지금까지, 본 발명에 따른 영상 처리 장치(100)에서 영상 내 포함된 노이즈를 제거하기 위한 영상 처리를 수행하는 동작 및 본 발명에 따른 영상 처리 장치(100)의 노이즈 제거 방식을 이용하여 영상 처리를 수행한 실험 결과에 대해서 상세히 설명하였다.

이하에서는, 본 발명에 따른 영상 처리 장치(100)에서 영상 내 포함된 노이즈를 제거하기 위한 영상 처리 방법에 대해서 상세히 설명하도록 한다.

도 10은 본 발명의 일 실시예에 따른 영상 처리 장치에서 영상 내 포함된 노이즈 제거을 위한 영상 처리 방법에 대한 흐름도이다.

도 10에 도시된 바와 같이, 영상 처리 장치(100)는 연속된 복수의 영상을 입력받는다(S1010). 영상이 입력되면, 영상 처리 장치(100)는 입력된 영상과 이전 영상의 특징점을 비교하여 움직임 정보를 획득한다(S1020).

여기서, 연속된 복수의 영상은 열 영상 센서(미도시)를 포함하는 카메라를 통해 촬영된 영상이 될 수 있다.

이후, 영상 처리 장치(100)는 기 획득한 움직임 정보와 기 설정된 임계 값을 비교한다(S1030).

비교 결과, 움직임 정보가 기 설정된 임계 값 이하이면, 영상 처리 장치(100)는 영상 처리 장치(100)는 해당 움직임 정보에 기초하여 제1 영상 내 배경을 보정한 배경 정합 영상을 생성한다(S1040).

여기서, 배경 정합 영상은 기 획득한 움직임 정보에 의해 입력 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 성분을 포함할 수 있다. 그리고, 입력 영상 내 포함된 노이즈 성분은 고정된 노이즈가 될 수 있다.

이후, 영상 처리 장치(100)는 주성분 분석 알고리즘을 이용하여 입력 영상과 관련하여 생성된 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상과 노이즈 영상을 획득하고, 획득한 배경 영상을 출력한다(S1050, S1060).

한편, 전술한 단계 S1030에서 움직임 정보가 기 설정된 임계 값 이하이면, 영상 처리 장치(100)는 입력 영상이 입력되기 전에 입력된 영상과 관련하여 생성된 노이즈 영상(이하 이전 노이즈 영상이라 함)이 저장부에 존재하는지 여부를 판단한다(1070).

판단 결과, 저장부에 이전 노이즈 영상이 존재하지 않으면, 영상 처리 장치(100)는 전술한 단계 S1040 내지 단계 S1060을 수행한다.

한편, 판단 결과, 입력 영상이 입력되기 전에 입력된 영상과 관련하여 생성된 이전 노이즈 영상이 저장부에 존재하면, 영상 처리 장치(100)는 저장부에 저장된 이전 노이즈 영상을 이용하여 입력 영상 내 포함된 노이즈 성분을 제거한다(S1080).

이후, 영상 처리 장치(100)는 노이즈 성분이 제거된 배경 영상을 단계 S1060을 통해 출력할 수 있다.

구체적으로, 영상 처리 장치(100)는 연속된 복수의 영상 중 제1 영상이 입력되면, 특징점 분석 알고리즘을 이용하여 제1 영상과 제1 영상 이전에 입력된 이전 영상 각각에 포함된 오브젝트에 대한 특징점을 획득한다.

이후, 영상 처리 장치(100)는 제1 영상과 이전 영상으로부터 획득한 특징점을 비교하여 제1 영상 내 배경과 이전 영상 내 배경 간의 움직임 정보를 획득한다.

이후, 영상 처리 장치(100)는 기 획득한 움직임 정보에 기초하여 배경 정합 영상을 생성한다. 전술한 바와 같이, 배경 정합 영상은 기 획득한 움직임 정보에 의해 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 성분을 포함할 수 있다. 그리고, 제1 영상 내 포함된 노이즈 성분은 고정된 노이즈가 될 수 있다.

이 같은 배경 정합 영상이 생성되면, 영상 처리 장치(100)는 주성분 분석 알고리즘을 이용하여 제1 영상과 관련하여 생성된 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상과 노이즈 영상을 획득하고, 획득한 배경 영상을 출력한다.

한편, 영상 처리 장치(100)는 제1 영상에 대한 배경 정합 영상으로부터 노이즈 영상 및 노이즈가 제거된 배경 영상이 획득되거나, 해당 배경 영상이 출력되는 동안 제2 영상이 입력되면, 입력된 제2 영상과 이전에 입력된 제1 영상의 특징점을 비교하여 제2 영상 내 배경의 움직임 정보를 획득한다.

이후, 영상 처리 장치(100)는 획득한 움직임 정보와 기 설정된 임계 값을 비교하여 움직임 정보가 기 설정된 임계 값 이하이면, 제1 영상과 관련하여 기 획득한 노이즈 영상을 이용하여 제2 영상 내 포함된 노이즈 성분을 제거한다. 이후, 영상 처리 장치(100)는 제2 영상으로부터 노이즈 성분이 제거된 배경 영상을 출력한다.

한편, 움직임 정보가 기 설정된 임계 값을 초과하면, 영상 처리 장치(100)는 전술한 실시예를 통해, 제2 영상 내 배경의 움직임 정보를 획득하고, 획득한 움직임 정보에 기초하여 제2 영상 내 배경을 보정하여 배경 정합 영상을 생성한다.

이후, 영상 처리 장치(100)는 주성분 분석 알고리즘을 이용하여 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상을 출력할 수 있다.

한편, 상술한 바와 같은 영상 처리 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 영상 처리 장치 110 : 입력부
120 : 출력부 121 : 디스플레이부
122 : 오디오 출력부 130 : 프로세서
131 : 움직임 분석부 132 : 배경 정합 영상 생성부
133 : 영상 획득부 134 : 비교부
140 : 통신부 150 : 카메라
160 : 저장부

Claims (14)

1. 영상 처리 방법에 있어서,
   연속된 복수의 영상을 입력받는 단계;
   상기 복수의 영상 중 제1 영상이 입력되면, 상기 제1 영상과 상기 제1 영상 이전에 입력된 이전 영상의 특징점을 비교하여 상기 제1 영상 내 배경의 움직임 정보를 획득하는 단계;
   상기 획득한 움직임 정보에 기초하여 상기 제1 영상 내 배경을 보정한 배경 정합 영상을 생성하는 단계;
   주성분 분석 알고리즘을 이용하여 상기 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득하는 단계;
   상기 노이즈 성분이 제거된 배경 영상을 출력하는 단계; 및
   상기 노이즈 성분이 제거된 배경 영상에 대한 노이즈 개선 정도를 제공하는 단계;를 포함하고,
   상기 움직임 정보를 획득하는 단계는,
   상기 노이즈 영상이 획득되거나 상기 배경 영상이 출력되는 동안 제2 영상이 입력되면, 상기 제2 영상 및 상기 제1 영상의 특징점을 비교하여 상기 제2 영상 내 배경의 움직임 정보를 획득하고,
   상기 제2 영상 내 배경의 움직임 정보와 기 설정된 임계 값을 비교하고,
   상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값 이하이면, 상기 획득한 노이즈 영상을 이용하여 상기 제2 영상 내 포함된 노이즈 성분을 제거하는 영상 처리 방법.
2. 제 1 항에 있어서,
   상기 배경 정합 영상은,
   상기 움직임 정보에 의해 상기 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 노이즈 성분을 포함하는 것을 특징으로 하는 영상 처리 방법.
3. 제 1 항에 있어서,
   상기 배경 정합 영상을 생성하는 단계는,
   상기 움직임 정보에 기초하여 상기 제1 영상 내 배경을 상기 이전 영상 내 배경으로 정합되도록 보정한 영상인 것을 특징으로 하는 영상 처리 방법.
4. 삭제
5. 삭제
6. 제 1 항에 있어서,
   상기 생성하는 단계는,
   상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값을 초과하면, 상기 제2 영상 내 배경의 움직임 정보에 기초하여 상기 제2 영상 내 배경을 보정하여 배경 정합 영상을 생성하는 것을 특징으로 하는 영상 처리 방법.
7. 제 1 항에 있어서,
   상기 복수의 영상은,
   열 영상 센서를 통해 촬영된 영상인 것을 특징으로 하는 영상 처리 방법.
8. 영상 처리 장치에 있어서,
   연속된 복수의 영상을 입력받는 입력부;
   출력부; 및
   상기 복수의 영상 중 제1 영상이 입력되면, 상기 제1 영상과 상기 제1 영상 이전에 입력된 이전 영상의 특징점을 비교하여 상기 제1 영상 내 배경의 움직임 정보를 획득하고,
   상기 획득한 움직임 정보에 기초하여 상기 제1 영상 내 배경을 보정한 배경 정합 영상을 생성하며,
   주성분 분석 알고리즘을 이용하여 상기 배경 정합 영상으로부터 노이즈 성분이 제거된 배경 영상 및 노이즈 영상을 획득한 후, 상기 노이즈 성분이 제거된 배경 영상을 출력하고, 상기 노이즈 성분이 제거된 배경 영상에 대한 노이즈 개선 정도를 제공하도록 상기 출력부를 제어하는 프로세서;를 포함하고,
   상기 프로세서는,
   상기 노이즈 영상이 획득되거나 상기 배경 영상이 출력되는 동안 제2 영상이 입력되면, 상기 제2 영상 및 상기 제1 영상의 특징점을 비교하여 상기 제2 영상 내 배경의 움직임 정보를 획득하고,
   상기 제2 영상 내 배경의 움직임 정보와 기 설정된 임계 값을 비교하여, 상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값 이하이면, 상기 획득한 노이즈 영상을 이용하여 상기 제2 영상 내 포함된 노이즈 성분을 제거하는 영상 처리 장치.
9. 제 8 항에 있어서,
   상기 배경 정합 영상은,
   상기 움직임 정보에 의해 상기 제1 영상 내 포함된 노이즈 성분으로부터 변화된 움직임 노이즈 성분을 포함하는 것을 특징으로 하는 영상 처리 장치.
10. 제 8 항에 있어서,
    상기 프로세서는,
    상기 움직임 정보에 기초하여 상기 제1 영상 내 배경을 상기 이전 영상 내 배경으로 정합되도록 보정하는 것을 특징으로 하는 영상 처리 장치.
11. 삭제
12. 삭제
13. 제 8 항에 있어서,
    상기 프로세서는,
    상기 제2 영상 내 배경의 움직임 정보가 상기 기 설정된 임계 값을 초과하면, 상기 제2 영상 내 배경의 움직임 정보에 기초하여 상기 제2 영상 내 배경을 보정하여 배경 정합 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.
14. 제 8 항에 있어서,
    상기 복수의 영상은,
    열 영상 센서를 통해 촬영된 영상인 것을 특징으로 하는 영상 처리 장치.
    
    

Images