KOMPSAT-3A위성은 3.3-5.2 μm파장대역의 중적외선(mid-infrared, MIR) 영상을 제공하며 물체의 복사에너지를 탐지할 수 있어 객체 및 지표의 온도를 탐지하는데 활용할 수 있다(Oh et al., 2019; Lee et al., 2023). 또한, 가시광선 영역 대역을 활용하는 센서와 달리 야간에도 영상 내에서 정보 취득이 가능하다. 특히, MIR 야간 영상(이하MIR_N)은 태양광이 없을 때 촬영하기 때문에 태양 복사로 인한 혼선이 존재하지 않아 열원을 파악하기 유용하다(Wang et al., 2020). 이를 통해, 국방 분야에서 무기 등다양한 안보 위협 물체를 탐지하거나 식별이 어려운 도심지의 열섬 현상, 특이객체 분석 등 다양한 원격 탐사 분야의 연구에 활용되고 있다(Park et al., 2010; Lee and kim, 2022).

MIR 주간 영상(이하 MIR_D)과 MIR_N은 영상 취득 시기와 광원의 차이로 인한 기하 및 방사적 특성이 다르다. 따라서 영상 내 열원의 정확한 위치를 파악하기 위해서는 영상 간 상호등록(image coregistration)이 필수적이다. 상호등록 기술은 동일 위치에 존재하는 정합점(matching points)을 기반으로 추정한 변환 모델을 이용하여 두 영상을 동일한 좌표계로 맞추는 전처리 과정을 의미한다. 상호등록 기술은 정합점 추출 메커니즘에 따라 영역 기반 정합기법과 특징 기반 정합기법으로 나뉜다(Kim et al., 2023). 영역 기반 정합기법은 영상 내 템플릿(template) 간의 화소값의 상관도를 계산하여 가장 높은 유사도가 보이는 지점을 정합쌍으로 추출하는 방식이다(Tondewad and Dale, 2020). 이러한 방식은 화소 단위의 정합을 진행하여 기하 차이가 적은 영상에서 높은 정확도의 정합을 진행 할 수 있는 장점이 존재한다. 그러나MIR_D 와 MIR_N은 광원의 유무로 인해 화소값의 차이가 크기 때문에MIR_D와MIR_N 정합에 영역 기반 정합기법은 부적합하다. 특징 기반 정합기법은 영상 내 특징점(feature point)과 이러한 특성을 설명하는 특징 서술자(feature descriptor)를 이용하여 정합점을 추출한다. 특징점 및 서술자 생성 방식에 따라 다양한 기하왜곡에 강인한 정합점을 추출할 수 있다.

Lowe (2004)에서 제안한 전통적인 특징 기반 정합기법 중 하나인 scale-invariant feature transform(SIFT) 알고리즘은 가우시안(Gaussian) 스케일 공간을 구성한 후 가우시안 차분 검출기(difference ofGaussian)를 통해 특징점을 추출하며, 특징점 주변 좌표들의 방향 히스토그램(gradient histogram)을 분석하여 정합점을 추출한다. 이는 원격 탐사 분야에서 대중적으로 활용하는 정합기법으로 스케일에 강인한 특징점을 추출하며 고차원의 서술자를 생성하여 정합 성능도 우수한 기법 중 하나이다. Bay et al. (2008)에서 제안한 speeded-up robust features (SURF)는 헤시안 행렬(Hessian matrix)을 이용하여 특징점을 추출하며, 적분그래프(integration graph) 기법을 적용하여 기존 계산량이 많았던 SIFT 기법보다 효율성을 증대하였다. 그러나 SIFT와 SURF는 모두 MIR 내 존재하는 비선형적 방사 왜곡(nonlinear radiation distortion)에 강인한 특징점을 추출하지 못한다(Karami et al., 2017). Rublee et al. (2011)은 적은 계산량으로 빠른 속도에 특화된 oriented FAST and roated BRIEF (ORB)를 제작하였다. 해당 기법은 회전 및 스케일 변화에 강인한 정합점을 추출하며, 서술자를 이진 형태로 생성한다. ORB는 SIFT와 SURF 기법에 비해 속도가 빠르다는 장점이 존재하지만 조명 및 기하학적 변화가 많은 영상에서는 성능이 타 기법에 비해 떨어진다.

Kim et al. (2023)은 특징 기반 정합기법과 영역 기반 정합기법을 결합한 hybrid pyramidmatching (HPM)을 제안하였다. 특징 기반 정합기법인 ORB 를 통해 특징점을 추출하고, phase correlation 알고리즘을 사용하여 특징점 주변의 템플릿 간 유사성을 통해 정합점을 추출하였다. 제안한 기법을 통해 서로 다른 센서에서 취득한 광학 영상과 MIR 영상 간 정합을 성공적으로 수행하였으나, 영역 기반 정합기법을 활용하여MIR_D 와MIR_N 간 존재하는 객체의 텍스처 차이에 강인한 정합점을 추출하는데 적합하지 않다. Li et al. (2018)은 다중 센서간 정합을 할 수 있는 특징 기반 정합기법인 radiation-invariant feature transform(RIFT)을 제안하였다. 기존 특징 기반 정합기법과 달리 로그 가버 필터(log-Gabor filter)를 활용하여 영상을 주파수 영역으로 변환한 phase congruency (PC) map 내에서 정합점을 추출하였다. RIFT 알고리즘은 비선형적 방사 왜곡에 강인한 특징점을 추출하기 때문에 본 연구의 목표인MIR_D와MIR_N 간 상호등록의 메인 알고리즘으로 적합하다 판단하였다. 그러나 기존 RIFT는 MIR_N의 저대비 특성을 충분히 고려하지 못하여 상호등록에 필요한 다수의 정합점을 추출하지 못하는 한계가 존재한다.

따라서 본 연구에서는 KOMPSAT-3A MIR 주야 영상 간 상호등록을 목표로 최적화된 RIFT 알고리즘 기반의 상호등록 기술을 제안한다. 이를 위해 영상의 다수의 정합점이 추출되는 패치 크기를 선정하고, RIFT 알고리즘에 존재하는 하이퍼파라미터(hyperparameter)를 조정한다. 기존 RIFT 알고리즘을 영상 전체에 적용하였을 때 다수의 정합점을 추출하지 못하는 것을 확인하여, 영상을 패치화하여 RIFT를 국소적으로 적용하는 방식을 선정하였다. 또한, 다수의 오정합쌍 제거 알고리즘을 적용한 후 최종적인 상호등록 기술을 완성한다. 다수의 KOMPSAT-3A MIR 영상 쌍 내에서 상호등록을 통해 좌표변환이 수행된MIR_D 와MIR_N의 위치정확도를 육안으로 평가하고, 동일 지점에서 취득한 검사점을 이용하여 제안 기법에 대한 정성적 및 정량적 평가를 진행하였다.

본 연구는 다양한 지형 및 피복 특성을 고려할 수 있는 서로 다른 지역을 촬영한 6쌍의 공간해상도 30 m KOMPSAT-3AMIR 영상을 사용하였다(Table 1). 네덜란드-1과 네덜란드-2 그리고 호주-1과 호주-2 지역은 동일한 MIR_D와 다른 MIR_N을 활용하여 야간 영상의 품질에 따른 결과를 비교하고자 선정하였다. 네덜란드-1과 네덜란드-2 지역은 암스테르담 국제공항 부근을 촬영한 영상으로, 농경지가 다수 분포한다. 호주-1과 호주-2는 해안선에 위치한 도심지가 촬영된 영상으로, 대부분 지형이 복잡한 도심지이며 영상 일부에서 바다와 산지가 존재한다. 주간 러시아의 모스크바를 촬영한 영상은 폭이 넓은 차도와 강이 도심지 곳곳에 분포한 형태를 보인다. 인도 지역은 델리 지역 부근 도심지를 촬영한 영상으로, MIR_D와MIR_N의 중첩 지역 비율이 실험 데이터 중 가장 낮으며 가장 복잡한 지형적 특성을 가진다.

Table 1 . The KOMPSAT-3A mid-infrared data used in this study.

Site	Region	Date (day) (KST)	Size	Date (night) (KST)	Size	Primary land cover
1	Netherlands-1	2022.03.09.11am	699 × 551	2021.02.21.11pm	528 × 530	Farmland
2	Netherlands-2	2022.03.09.11am	699 × 551	2022.02.28.0am	640 × 569
3	Australia-1	2016.11.01.2pm	519 × 518	2016.07.11.2am	519 × 517	Urban, coastline
4	Australia-2	2016.11.01.2pm	519 × 518	2016.11.30.2am	517 × 524
5	Russia	2019.09.12.1pm	539 × 528	2019.09.02.2am	544 × 547	Urban, river, road
6	India	2021.01.16.2pm	525 × 524	2021.01.29.3am	526 × 563	Urban

KST: Korean Standard Time..

본 연구에서는 KOMPSAT-3A 주야간 영상 쌍을 활용한 RIFT 기반 상호등록 기술 개발을 위해 Fig. 1과 같은 방법론을 제안한다. 먼저, 대비가 좋지 않은MIR 영상을 선형 대비 스트레칭 기법을 활용하여 대비를 개선한 후 영상의 패치 크기, 패치의 이동량(stride) 그리고 RIFT 알고리즘의 하이퍼파라미터를 MIR 영상 특성에 적합하게 최적화하며, 오정합쌍 제거 알고리즘을 선정하여 최종 상호등록 기술을 제작한다. 각 단계의 파라미터 설정은 추출된 참정합쌍과 검사점을 활용한 정량적 평가를 통해 진행한다.

Figure 1. Flowchart of KOMPSAT-3A MIR day-night registration using the RIFT algorithm.

3.1. 전처리 과정

본 연구의 실험 데이터는 공간해상도 30 m의 낮은 해상도의 영상으로 객체를 인식하는데 어려움이 존재하며, 화소값의 분포가 고르지 않아 알고리즘을 통한 특징점을 추출할 엣지(edge)나 코너(corner)의 경계가 모호하다. 이러한 특성은 영상 내 추출하는 정합점의 개수에 주된 영향을 미치므로, 영상의 대비를 증대하여 객체 및 지표의 경계를 선명하게 하는 과정이 필요하다. 선형 대비 스트레칭 기법은 히 스토그램(histogram)의 상한 및 하한 값을 설정하여 범위 내 영상의 분광 특성을 변환하는 기법이다. Fig. 2(a)와 같이 배경의 화소값이 0으로 할당되어 있기 때문에 이를 제외한MIR_D 와MIR_N에 선형 대비 스트레칭 기법을 적용하여 Fig. 2(b)와 같이 영상의 대비를 증가하였다. 해당 기법을 적용하여 정합쌍의 개수를 비교한 결과, Fig. 3과 같이 전처리를 적용한 경우에 정합쌍의 개수가 증가하였다.

Figure 2. Example of image preprocessing in India. (a) Raw mid-infrared night image. (b) Mid-infrared night image after preprocessing.

Figure 3. Example of the number of extracted matching points in Netherlands-1. (a) Extracting matching points without preprocessing (15 points). (b) Extracting matching points after preprocessing (26 points).

본 연구에서 활용하는 MIR_D 와 MIR_N은 16비트 방사해상도 단일밴드 영상으로 0~2¹⁴ 범위의 화소값이 존재한다. 이는 0~255의 화소를 지닌 8비트 영상보다 범위가 넓기 때문에 보다 세밀한 밝기 정보를 표현할 수 있는 반면, 데이터 용량이 크기 때문에 처리 시간이 증가한다. 따라서 영상의 세밀한 밝기 정보를 유지하기 위해 선형 대비 스트레칭 기법을 적용한 후 정합점 추출 시 계산량을 감소시키기 위해 8비트 영상으로 변환하여 연구에 이용하였다.

3.2. RIFT 알고리즘

전통적인 특징 기반 정합기법인 SIFT, SURF 등의 알고리즘은 영상좌표계의 화소값의 차이와 키포인트 주변 픽셀 간 기울기를 통해 정합점을 추출하여 비선형적 방사 왜곡에 매우 민감하기 때문에 광원의 차이로 인한 방사적 특성이 다른MIR_D 와MIR_N 간 다수의 정합쌍을 추출하지 못한다(Karami et al., 2017). 반면 RIFT 알고리즘은 영상을 퓨리에 변환(Fourier transform)을 통해 주파수 영역으로 변환된 PC map 내에서 추출된 특징점을 정합한 후, 퓨리에 역변환을 통해 다시 공간 도메인으로 변환하는 방식으로MIR_D 와MIR_N 간 다수의 정합점을 추출할 수 있다. 주파수 영역으로 영상을 변환하는 로그 가버 필터는 다양한 스케일과 방향에 걸쳐 영상을 분석하며, 짝 대칭(even-symmetric)과 홀 대칭(odd-symmetric) 성분으로 나뉘어 각각 응답값을 확인하여 PC를 계산한다. 이후, 각 스케일과 방향에 따른 모멘트(moment)를 분석하여 Fig. 4와 같은 최소 및 최대 모멘트 지도를 생성하며, 최소 모멘트 지도에서는 non-maximal suppression을 적용하여 localmaxima를 추출하고 최대 모멘트 지도에서는 엣지 특징점 추출 알고리즘을 적용하여 최종적으로 Fig. 5와 같은 코너 및 엣지에서 다수의 특징점을 추출한다. 서술자는 식(1)과 같이 각 픽셀 위치에서 로그 가버 필터의 각 방향에 대해 모든 스케일의 응답을 합산하여 최대의 반응값을 보이는 방향인 ω_max를 결합한 maximum index map (MIM) 에서 생성하며, 이는 식(2)로 표현된다.

Figure 4. Example of generating minimum and maximum moment map by using log-Gabor filter (Li et al., 2018). (a) Input image pair. (b) Minimum moment map. (c) Maximum moment map.

Figure 5. Example of extracting feature points in minimum and maximum moment maps (Li et al., 2018). (a) Feature points in minimum moment map. (b) Feature points in maximum moment map.

식(1)의 Ao (x, y)는 방향 o에 대한 모든 스케일(s)의 반응값의 합을 의미한다.

계산된MIM내에서 각 특징점을 중심으로 로컬 패치(local patch)를 생성하며, 이를 일정 크기의 그리드(grid)로 나누어 방향에 대한 히스토그램을 결합하여 최종적인 서술자 벡터를 생성한 후 이를 기반으로 정합점을 추출한다.

3.3. 영상 패치 사이즈 및 RIFT 알고리즘 하이퍼파라미터 설정

MIR 영상 전체에 RIFT 알고리즘을 적용하면 Fig. 6(a)와 같이 다수의 정합쌍을 추출하지 못하였으나, 영상을 패치화하여 적용한 결과 정합쌍 개수가 Fig. 6(b)와 같이 증가하였다. 이는 RIFT 기법이MIR_D와 MIR_N처럼 대비나 특성이 크게 다른 경우에 영상의 미세한 지역적 정보를 놓쳐 발생한 문제로서, 국소적으로 RIFT를 적용하여 국부적인 정보를 반영할 수 있게 설정하였다. 각 패치별로 RIFT 알고리즘을 적용한 후, 오정합쌍 제거 알고리즘으로 random sample consensus (RANSAC)을 이용하여 정합쌍을 추출하였다. 이 때, 패치의 경계면 부근에서 특징점이 추출되었을 때 RIFT 알고리즘이 서술자를 생성하지 못하는 상황을 방지하기 위해 Fig. 7과 같이 이동 간격을 설정하여 패치간 중첩 지역을 생성하였다. 또한 패치 사이즈를 300으로 설정하여 실험을 진행했을 때 변환 모델을 구축할 충분한 특징점이 뽑히지 않는 오류가 발생한 지역이 존재하여, 파라미터는 350, 400, 450, 500으로 총 4개의 값에 대한 실험을 진행한 후 가장 많은 참정합쌍을 추출한 경우를 최종 패치 크기로 선정하였다.

Figure 6. Example of the number of extracted feature points in Russia. (a) Extracting feature points without patching (58 points). (b) Extracting feature points with patching (71 points).

Figure 7. Selecting patch size by comparing the number of matching points.

RIFT 알고리즘의 하이퍼파라미터는 로그 가버 필터의 스케일 수(이하 N_s), 방향 수(이하 N_o) 그리고 로컬 패치의 크기(이하 J) 총 3가지가 존재한다. 스케일 별 필터는 다른 주파수 영역에서 영상의 특성을 추출하며 이를 컨볼루션(convolution)하여 최종적인 영상의 특성을 표현한다. 로그 가버 필터의 스케일이 작을수록 세밀한 특징에 집중하고 클수록 영상의 전역적인 패턴에 집중하여 N_s에 따라 영상의 특징 표현이 변화한다. 또한 로그 가버 필터는 N_o의 값이 클수록 보다 더 세부적인 방향 정보를 파악할 수 있으나, 그에 따른 계산 비용도 커지기 때문에 적합한 N_o를 설정해야 한다. RIFT 알고리즘은 특징점 중심으로MIM내에서 생성된 로컬 패치를 n × n 크기로 분할한 그리드 내의 최대 방향 정보를 분석하여 n × n × N_o 차원의 서술자를 생성한다. 서술자를 생성하기 위해 사용하는 로컬 패치의 크기인 J 값이 너무 작을 시 추출되는 정보의 양이 부족하며, 반대로 너무 큰 값일 경우에는 영상에 왜곡이 발생하기에 실험을 통해 이상치를 도출해야 한다. 각 하이퍼파라미터의 조합에 따라 Fig. 8과 같이 추출되는 정합점의 개수의 차이가 존재한다. Li et al. (2018)에 따르면 N_s, N_o, J 조합이 각각 4, 6, 96인 경우가 success rate (SR)와 number of correct matches (NCM) 값이 가장 높게 나와 해당 조합을 최적의 하이퍼파라미터로 선정하였다. 그러나 본 연구에 활용되는 MIR 영상은 공간해상도가 낮아 세밀한 특징을 얻기 어렵기 때문에 추가적인 실험을 통해 MIR 특성에 적합한 하이퍼파라미터 조합을 도출하였다.

Figure 8. Difference of the number of feature points by changing the parameters of RIFT in Australia-1. (a) Result of N_s = 5, N_o = 6, J = 96 (63 points). (b) Result of N_s = 4, N_o = 8, J = 120 (53 points).

3.4. 오정합쌍 제거 알고리즘 선정

오정합쌍은 영상의 밝기, 대비, 기하학적 왜곡 등 다양한 이유로 인해 잘못 정합된 쌍으로, 이를 제거하지 않으면 정확한 변환 모델을 추정할 수 없으며 결과적으로 상호등록의 성능이 저하된다. 본 연구에서는 오정합쌍 제거를 위해 RANSAC, data snooping 그리고 locality preserving matching (LPM)을 각각 앞선 과정을 거쳐 얻어진 정합쌍에 적용한 결과를 비교 및 분석하여 최종적인 상호등록 기술을 완성하였다.

RANSAC은 데이터의 일부를 무작위로 선택한 후 변환 모델을 추정하고, 모델의 예측값과 실제값 간의 잔차(residual)가 임계치(threshold) 이내에 포함되는 지점을 추출하는 과정을 반복하여 가장 일관된 데이터 집합을 찾아내는 방식으로 오정합쌍을 제거한다(Fischler and Bolles, 1981). RANSAC은 최소한의 데이터를 활용하여 모델을 구축할 수 있는 장점이 존재하지만, Chum and Matas (2005)에 의하면 초기 데이터의 의존도가 높으며 오정합쌍(outlier)의 비율이 높을 때 성능이 저하된다는 단점이 존재한다.

Data snooping은 모든 데이터를 하나씩 제외하면서 모델에 끼치는 영향을 확인하여 통계적 기반의 F-검정을 통해 해당 관측값의 과대오차를 판단한다(Baarda, 1968). 해당 기법은 모든 관측값에 대한 통계치를 분석하여 세밀한 오정합쌍 제거가 가능하지만, 초기 모델이 오정합쌍에 영향을 받은 상황에서는 성능이 떨어진다. 본 연구에서는 모든 데이터를 활용하여 초기 모델을 수립한 후 관측값 간의 잔차를 계산하며 오정합쌍을 제거하고 남은 지점으로 모델을 수립하는 방식으로 결과가 수렴할 때까지 진행하였다.

Ma et al. (2019)은 특징점과 최근접 이웃점(nearest neighbors) 간의 거리 비율과 벡터의 코사인 유사도를 비교한 비용 함수를 계산하여 오정합쌍을 제거하는 LPM을 제안하였다. 해당 기법은 다른 오정합쌍 제거 알고리즘과 다르게 모델을 구축하지 않아 모델에 대한 의존성이 낮지만, 최근접 이웃점 개수와 임계치 설정에 민감하기 때문에 영상의 환경에 적합한 파라미터를 설정해야 한다. 본 연구에서는 Table 2와 같이 오정합쌍 제거 알고리즘의 임계치를 설정한 후 실험을 진행하였다.

Table 2 . Thresholds for each outlier removal algorithm in the study.

Outlier removal algorithm	Threshold	Value
RANSAC	Residual threshold	5
	Iteration	1,000
Data snooping	Reliability of F test (%)	95
	Max iteration	5
LPM	Number of nearest neighbors (N1, N2)	N1=5, N2=5
	Cost function (C1, C2)	C1=0.15, C2=0.1
	Cosine similarity (T1, T2)	T1=0.04, T2=0.03

4.1. 영상 패치 크기 선정 결과

본 연구에서는 영상 패치 크기를 선정하기 위해 네덜란드-1, 호주-1 그리고 인도 지역에 대한 실험을 진행하였다. 해당 실험에서 RIFT 하이퍼파라미터는 N_s=4, N_o=6 그리고 J=96으로 설정하였으며 패치별 SR과 추출된 참정합쌍 개수의 결과는 Table 3과 같다. 패치 크기 350은 네덜란드와 호주 지역에서 가장 많은 정합쌍과 참정합쌍을 추출하였으며, 인도 지역의 경우 패치 크기 400과 같은 16쌍의 참정합쌍을 추출하였다. 인도 지역의 정합점의 수가 다른 지역보다 적은 것은 영상 간 중첩 지역이 약 50%로 네덜란드-1과 호주-1 중첩 비율보다 낮고 지형이 복잡한 도심지를 촬영하여 객체의 경계가 명확하지 않기 때문이다. 패치 크기 350은 다수의 정합쌍을 추출하였으나 참정합쌍으로 선정된 지점이 다른값들과 비교했을 때 큰 차이가 없어 네 덜란드에서는 2번째, 호주와 인도에서는 3번째로 높은 SR을 보였다. 패치 크기 450은 세 지역에서 전반적으로 적은 정합쌍이 도출되었으나 SR이 네덜란드 57.14%, 인도 57.69%로 가장 높았으며 호주 역시 46%로 가장 높은 패치 크기 500의 46.43%와 큰 차이가 존재하지 않았다. 패치 크기 500은 상대적으로 넓은 지역에 RIFT 알고리즘을 적용하여 영상 전체에서 세부적인 정보를 놓쳐 정합쌍과 참정합쌍이 적게 추출된 것으로 판단하였다. 결과적으로, 패치 크기 350과 450이 다른 파라미터의 결과에 비해 우수한 성능을 보였으며, 본 연구의 목적 중 하나인 오정합쌍 제거 알고리즘 간 비교를 보다 효과적으로 판단하기 위해 많은 지점이 추출된 350을 최종 패치 크기로 선정하였다.

Table 3 . Results of extraction of matching points according to patch size.

Region	Patch size	Matching point	Inlier point	Success rate (%)
Netherlands-1	350	88	43	48.86
	400	89	41	46.07
	450	70	40	57.14
	500	67	31	46.27
Australia-1	350	59	27	45.76
	400	58	24	41.38
	450	50	23	46
	500	56	26	46.43
India	350	36	16	44.44
	400	38	16	42.11
	450	26	15	57.69
	500	25	12	48

4.2. RIFT 알고리즘 하이퍼파라미터 최적화 결과

RIFT 알고리즘의 하이퍼파라미터는 패치 크기 선정과 동일한 환경에서 실험을 진행하기 위해 네덜란드-1, 호주-1 그리고 인도 데이터를 활용하였다. Li et al. (2018)은 Table 4와 같은 하이퍼파라미터 조합에 대한 결과를 도출하였으며, 본 연구에서도 같은 파라미터 조합을 사용하였다. 조합 별 평가는 SR과 추출된 정합쌍 중 일부를 활용하여 변환 모델을 구축하고 나머지 정합쌍은 상대검사점으로 활용하여 산출한 root mean square error (RMSE)를 비교하였다. 이후, SR과 RMSE에서 가장 좋은 결과를 보인 조합 4가지에 대해서 육안판독을 통해 동일 지점에서 취득한 검사점(checkpoint)을 기반으로 산출한 RMSE 값이 가장 낮은 조합을 최종적인 RIFT 하이퍼파라미터로 선정하였다(Fig. 9).

Figure 9. Examples of checkpoints obtained manually.

Table 4 . The details of parameter settings (Li et al., 2018).

Experiments	Variable	Fixed parameters
Parameter No	No= {4, 5, 6, 7, 8}	Ns = 3, J = 96
Parameter Ns	Ns= {2, 3, 4, 5, 6}	No = 6, J = 96
Parameter J	J = {48, 72, 96, 120, 144}	No = 6, Ns = 3

실험 결과, N_o는 6보다 커질 시 정합쌍의 개수에 크게 영향을 미치지 않았으며, N_s의 값이 4 미만으로 적용하였을 시 추출되는 정합쌍의 개수가 10~15 정도 감소하는 것을 확인하였다. 이는 다양한 방향에서 오는 정보는 일정 값 이상으로는 거의 동일한 것을 의미하며, N_o에 8 이상의 값을 대입하여도 계산 비용만 증가하고 효율은 차이가 없을 것으로 예측하였다. 세 지역에서 모두 J=48인 경우에 가장 적은 정합쌍과 참정합쌍을 추출하였으며, 이는 로컬 패치가MIM내에서 특징점의 서술자를 생성할 충분한 정보를 습득하지 못한 것을 의미한다. 이를 통해, Table 5와 같은 4가지의 조합이 최종적으로 남았으며 해당 조합에 대한 정합쌍의 분포와 절대검사점을 활용한 RMSE를 분석하였다.

Table 5 . Results of different parameter combinations.

Region	Hyperparameter {Ns, No, J}	Matching point	Inlier point	RMSE (relative) (unit: pixel)	RMSE (absolute) (unit: pixel)
Netherlands-1	{4, 6, 96}	88	43	2.797	0.976
	{4, 6, 120}	80	33	3.522	1.217
	{5, 6, 96}	69	36	2.787	0.947
	{5, 6, 120}	78	27	2.960	1.853
Australia-1	{4, 6, 96}	59	27	3.213	1.901
	{4, 6, 120}	59	23	3.536	2.243
	{5, 6, 96}	62	32	3.233	1.258
	{5, 6, 120}	63	31	3.473	1.625
India	{4, 6, 96}	36	16	3.221	2.551
	{4, 6, 120}	25	11	2.683	2.836
	{5, 6, 96}	30	15	2.977	2.530
	{5, 6, 120}	35	14	3.626	2.998

네덜란드 지역에서는 N_s가 4인 조합이 모두 80개 이상의 정합쌍을 추출하였으며, 이 중 {4, 6, 96} 조합은 참정합쌍 43쌍으로 4개의 조합 중 가장 높고 절대검사점 기반 RMSE도 0.976으로 낮은 오차를 보였다. {5, 6, 96} 조합은 RMSE 0.947, 1.258, 2.530으로 세 지역에서 모두 가장 낮은 값을 기록하였으며, 추가된 로그 가버 필터의 스케일이 탐지한 영상의 특징이 결합되면서 기존 스케일보다 더 다양한 구조적 정보를 표현한 것을 확인하였다. 반면에 J가 96에서 120으로 증가하였을 경우에는 정합쌍 및 참정합쌍이 모든 지역에서 감소하였으며 RMSE 값도 증가하였다. 이는 특징점 주변의 정보가 증가하며 서술자가 불필요한 세부사항이 포함되어 정합 성능이 떨어진 것을 의미하며, J가 96일 때 충분히 영상 내 방향 정보를 분석하여 올바른 서술자를 생성할 수 있음을 시사한다. 추출된 참정합쌍의 분포도는 하이퍼파라미터 조합 모두 유사한 분포도를 띄우고 있으나 J=120일 때 추출하지 못하는 영상 좌측 하단부에서 J=96은 다수의 정합쌍을 추출한 것을 확인하였다(Fig. 10).

Figure 10. Results of extracting matching points for different parameter combinations in the Netherlands-1 region. (a) N_s=4, N_o=6, J=96. (b) N_s=4, N_o=6, J=120. (c) N_s=5, N_o=6, J=96. (d) N_s=5, N_o=6, J=120.

4.3. 오정합쌍 제거 알고리즘 적용 결과

본 연구의 목표인 RIFT 알고리즘 기반 상호등록 기술 완성을 위해 오정합쌍 제거 알고리즘인 RANSAC, data snooping 그리고 LPM을 네덜란드-2, 호주-2 그리고 러시아 지역에 적용하여 각 결과를 비교 및 분석하였다. 상호등록이 수행 전후MIR_D 와MIR_N의 모자이크 영상을 육안으로 판독하여 기하보정 여부를 판독하였으며, RMSE와 circular error 90% (CE90)를 산출하여 정량적 평가를 진행하였다. Table 6은 각 알고리즘별 추출한 정합쌍, 참정합쌍, 그리고 검사점으로 도출한 RMSE와 CE90 값이다.

Table 6 . RMSE and CE90 results according to outlier removal algorithms for each region.

Region	Outlier removal algorithm	Matching point	Inlier point	RMSE (absolute) (unit: pixel)	CE90 (unit: pixel)
Netherlands-2	RANSAC	102	44	0.968	2.046
	Data snooping	101	37	3.278	5.010
	LPM	102	52	0.905	1.922
Australia-2	RANSAC	73	31	1.650	3.230
	Data snooping	73	32	1.083	2.349
	LPM	72	39	0.913	1.783
Russia	RANSAC	61	27	2.450	4.822
	Data snooping	59	24	1.930	3.763
	LPM	61	38	1.135	2.523

네덜란드-2 지역은 공항 주변의 도심지와 논이 존재하는 지역으로MIR_D에서 객체와 지표의 경계가 다른 지역보다 명확하여 상대적으로 많은 정합쌍이 추출되었다. 다양한 지역에서 참정합쌍이 고르게 추출되었으며, 개수는 LPM을 적용한 결과가 52쌍으로 RANSAC 44쌍, data snooping 37쌍보다 높았다(Fig. 11). LPM와 RANSAC은 RMSE가 각각 0.905 화소, 0.968 화소로 값의 차이가 크지 않았으나, Fig. 12(a)에서 기하오차가 남아있는 지역에서 Fig. 12(c)에서는 기하보정이 더 정밀하게 수행된 것을 확인하였다. 그러나 data snooping은 RMSE 3.278 화소, CE90 5.010 화소를 기록하였으며 Fig. 12(b)와 같이 대다수의 지역에서 기하오차가 존재하여 상호등록에 실패한 것을 확인하였다. 이는 data snooping이 추출된 모든 정합쌍을 활용하여 관측 방정식을 수립할 때 다수의 오정합쌍의 영향을 받아 지점을 과하게 제거하여 정확한 참정합쌍을 추출하지 못함을 의미한다. 해안가 주변의 공항이 포함된 지역을 촬영한 호주-2 영상은 산지, 도시, 강, 해안가 등 다양한 지표가 포함된 지역이다. 강과 육지의 경계에서 가장 많은 참정합쌍이 추출되었으며, 그 외에 논, 해안선, 도심지에서도 추출되며 고른 분포도를 보였다(Fig. 13). 해당 지역에서는 LPM알고리즘이 RMSE 0.913 화소, CE90 1.783 화소로 가장 낮은 오차를 도출했으며 RANSAC 알고리즘이 RMSE, CE90에서 각각 1.650 화소, 3.230 화소로 오차가 가장 크게 추출되었다. 모자이크 영상을 육안으로 확인한 결과, RANSAC을 적용한 영상은 공항 부근, data snooping을 적용한 모자이크 영상에서는 해안가 주변의 도로에서 약간의 기하오차가 존재하였으며 LPM은 해당 지점에서 기하보정이 수행된 것을 확인하였다(Fig. 14).

Figure 11. Extracting inlier points in the Netherlands-2 region for each outlier removal algorithm. (a) Inlier points with RANSAC. (b) Inlier points with data snooping. (c) Inlier points with LPM.

Figure 12. Mosaic images in the Netherlands-2 region for each outlier removal algorithm. (a) Raw image. (b) Mosaic image using RANSAC. (c) Mosaic image using data snooping. (d) Mosaic image using LPM.

Figure 13. Extracting inlier points in the Australia-2 region for each outlier removal algorithm. (a) Inlier points with RANSAC. (b) Inlier points with data snooping. (c) Inlier points with LPM.

Figure 14. Mosaic images in the Australia-2 region for each outlier removal algorithm. (a) Raw image. (b) Mosaic image using RANSAC. (c) Mosaic image using data snooping. (d) Mosaic image using LPM.

러시아 지역은 도심지를 촬영한 영상으로 강과 차도로 이루어진 경계면들이 존재한다. 세 실험 지역 중에서 가장 적은 정합쌍와 참정합쌍이 추출되었으며 지형이 복잡한 도심시 중심보다 강과 도시의 경계, 도심지 외곽부에 분포하였다(Fig. 15). 세 알고리즘 중 LPM은 38쌍으로 타 알고리즘이 추출한 참정합쌍보다 10쌍이 이상 더 추출하였으며, RMSE와 CE90은 각각 1.135 화소, 2.523 화소로 타 기법보다 우수한 결과를 도출하였다. RANSAC과 data snooping을 활용한 상호등록은 Figs. 16(a, b)와 같이 기하오차가 보정되지 않은 지역이 남아있었으나, LPM을 활용한 상호등록을 수행한 결과 Fig. 16(c)와 같이 기하보정이 수행된 것을 확인하였다. 결과적으로, 세 지역 모두 LPM 알고리즘을 적용한 상호등록이 지역적으로 존재하는 상대기하오차를 가장 안정적으로 보정하였다. 이는 타 기법과 달리 LPM이 모델을 구축하지 않고 추출된 좌표 간 벡터 정보를 활용하기에 RIFT 알고리즘에서 추출된 오정합쌍의 영향을 적게 받았기 때문이다. 따라서 LPM알고리즘을 최종 정합점을 추출하기 위한 오정합쌍 제거 알고리즘으로 선정하였으며, 본 연구에서 제안한 상호등록 기술이 MIR 영상의 활용을 위한 전처리 기술로 이용할 수 있을 것으로 사료된다.

Figure 15. Extracting inlier points in the Russia region for each outlier removal algorithm. (a) Inlier points with RANSAC. (b) Inlier points with data snooping. (c) Inlier points with LPM.

Figure 16. Mosaic images in the Russia region for each outlier removal algorithm. (a) Raw image. (b) Mosaic image using RANSAC. (c) Mosaic image using data snooping. (d) Mosaic image using LPM.

본 연구는 주야간 MIR 영상에 최적화된 RIFT 알고리즘 기반 상호등록 기술을 제안하였다. MIR_D와MIR_N을 선형 대비 스트레칭 기법을 이용하여 전처리를 수행하고, 영상의 패치 크기, RIFT의 하이퍼파라미터를 최적화하여 다수의 정합쌍을 추출하였다. 그리고 포함된 오정합쌍을 제거하기 위해 세 가지 오정합쌍 제거 알고리즘을 각각 적용한 결과를 분석하여 상호등록 기술을 완성하였다. 특성이 다른 지역을 촬영한 KOMPSAT-3A MIR 영상을 이용하여 패치 크기에 따른 추출된 참정합쌍의 개수를 비교하여 350을 최적 패치 크기로 선정하였고, RMSE를 계산하여 최적의 RIFT 하이퍼파라미터를 추정하였다. 오정합쌍 제거 알고리즘인 LPM은 네덜란드-2, 호주-2, 러시아 지역에서 각각 RMSE 0.905 화소, 0.913 화소, 1.135 화소를 기록했으며, CE90은 1.922 화소, 1.783 화소, 2.523 화소로 타 기법 대비 우수한 성능을 보였다. 이를 통해, LPM알고리즘이 MIR 영상에서 추출된 정합점 간 유사성을 기반으로 다수의 참정합쌍을 추출할 수 있는 것을 알 수 있었다. 또한 비선형적 방사 왜곡에 강인한 특징점을 추출하는 RIFT 알고리즘를 활용하여 SIFT, SURF 등 다른 특징 기반 정합기법에서 실패한 MIR 영상 간 정합에 성공하였기 때문에 추후MIR 영상 활용을 위한 전처리 기술의 알고리즘으로 활용할 수 있을 것으로 사료된다. 본 연구에서 제안한 RIFT 알고리즘 기반 상호등록은 기존 특징 기반 정합기법의 한계점을 보완할 수 있었지만, 인도와 러시아에서 도심지 같은 지형이 복잡한 지점에서 다수의 정합점을 추출하지 못한 한계점이 존재하였다. 그럼에도 불구하고 제안한 상호등록 기술은MIR_N 내 존재하는 열원의 정확한 위치를 파악할 수 있는 전처리 기술로 사료된다. 추후 연구에는 RIFT 알고리즘이 복잡한 지형에서도 정합점을 추출할 수 있도록 전처리 과정에 선형 대비 스트레칭 기법이 아닌 감마 분산 등 다른 기법을 적용하여 MIR_N의 화소 분포를 고르게 할 예정이다.

본 연구는 과학기술정보통신부의 재원으로 한국연구재단 “위성정보빅데이터활용지원체계개발사업(RS-2022-00165154)”의 지원을 받아 수행하였습니다.

No potential conflict of interest relevant to this article was reported.