Korean J. Remote Sens. 2024; 40(6): 1391-1395
Published online: December 31, 2024
https://doi.org/10.7780/kjrs.2024.40.6.3.1
© Korean Society of Remote Sensing
이광재1*, 오관영2, 이선구1
1한국항공우주연구원 위성활용부 책임연구원
2한국항공우주연구원 위성활용부 선임연구원
Correspondence to : Kwang-Jae Lee
E-mail: kjlee@kari.re.kr
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
The Korea Multi-Purpose Satellite (KOMPSAT) series developed according to the Master Plan for the Promotion of Space Development started with launching the first satellite in December 1999, and five satellites have been launched. Currently, KOMPSAT-3, 3A, and 5 are in operation. The KOMPSAT series equipped with high-resolution optical, synthetic aperture radar (SAR), and middle-wave infrared (MIR) sensors have been utilized in various fields such as land, environment, forestry, agriculture, and disaster over the past 25 years, and have recently been utilized in various studies such as image segmentation, object detection, and change detection in conjunction with deep learning technology. In this special issue, we would like to introduce various research results recently conducted using images from the KOMPSAT series.
Keywords KOMPSAT, Deep learning, Change detection, Image segmentation, Object detection
국내 독자적인 실용급 관측 위성 개발 능력을 확보하고 공공수요의 위성영상 수요 충족을 위해서 추진된 다목적실용위성(아리랑위성) 개발사업은 1994년에 시작되어 현재까지 30년 이상 지속되고 있다. 1999년 12월 다목적실용위성 1호의 성공적인 발사를 시작으로 25년 동안 총 5기의 다목적실용위성이 발사되었으며, 현재 다목적실용위성 3호, 3A호, 5호가 운영 중이다. 한편 다목적실용위성 1호와 2호는 2007년 12월과 2015년 10월에 각각 임무가 종료되었다. 다목적실용위성은 고해상도 광학, synthetic aperture radar (SAR), 중적외(middle-wave infrared, MIR) 센서를 탑재하여 다중센서 위성영상을 제공함에 따라 국가 안보 분야를 비롯하여 국토변화, 산림 및 농업, 수자원, 해양, 재난 등 다양한 분야에서 활용되고 있다. 또한 다목적실용위성 시리즈는 위성영상 자료처리, 분석 및 활용을 위한 연구에도 매우 활발히 이용되어 왔다(Yang and Jeong, 2018; Chae et al., 2021; Kim et al., 2022; Jung et al., 2022; Won and Eo, 2022; Lee et al., 2023a; 2023b; 2024; Gong et al., 2023; Yang and Kim, 2023; Yu et al., 2023). 한편 Lee (2024)는 1985년부터 대한원격탐사학회지에 게재된 아리랑위성 관련 논문 약 220여편을 조사하여 시스템, 국토/도시, 산림, 농업, 재난, 자료 처리 등 11개 분야로 분류하여 연구 현황을 분석한 사례가 있다.
한국항공우주연구원은 다목적실용위성 영상자료 처리, 검보정 및 품질개선, 활용분야별 다양한 분석 및 응용 연구 등을 장려하고 최신 연구 현황을 소개하기 위해서 대한원격탐사학회지에 매년 다목적실용위성 영상 활용 특별호를 발행하고 있다. 올해는 총 10편의 다목적실용위성 영상자료 활용 관련 논문이 특별호에 게재되었으며, 본 사설에서는 특별호에 게재된 논문에 대해서 간략하게 소개하고자 한다.
다목적실용위성 영상처리 및 활용관련 연구논문은 국내뿐만 아니라 해외의 다양한 저널을 통해서도 많이 소개되었다(Lee et al., 2021). 전세계적으로 고해상도 광학, SAR, MIR 센서로 구성된 위성 시리즈는 매우 드물어서 다목적실용위성 시리즈는 동종 또는 이종센서 간의 융합 등 다양한 자료처리 연구와 응용 연구에 있어 매우 유용하게 활용되고 있다. 최근 국내에서는 딥러닝(deep learning) 기반의 영상 분할 및 객체 탐지 기술을 활용하여 산림분류, 도로탐지, 도심 건물 탐지 등과 같은 연구가 활발히 진행되고 있다(Baek et al., 2021; Chae et al., 2022; Park et al., 2023).
도시의 지속적인 팽창은 오늘날 농촌지역까지 영향을 받고 있으며, 이를 통해 다양한 사회적 문제가 발생하고 있다. 농촌 공간 재구조화는 농촌지역을 기능별로 구획하여 생활 정주 여건을 개선하고 산업기반을 강화하는 데 목적이 있다. 그러나 농촌지역에 존재하는 다양한 시설을 분류하고 주기적으로 관찰하기에는 어려움이 존재한다. 항공영상은 공간해상도가 높은 장점은 있으나 주기적인 촬영이 불가능하여 현장의 변화상을 지속해서 업데이트하기에는 한계가 있다. 따라서 고해상도 위성영상을 통해 농촌지역의 주요시설을 분류하고 관리할 수 있다면 지속 가능한 농촌 공간 재구조화를 추진할 수 있을 것으로 기대된다. Chang et al. (2024)은 중복 딥러닝 모델을 이용하여 농촌시설을 분할하는 연구를 수행하였다. 한국항공우주연구원은 매년 한반도 모자이크 영상을 제작하고 있는데, 연구에서는 2019년과 2020년 모자이크 영상을 이용하여 농촌 공간 재구조화의 주요 관심시설인 축사, 공장, 태양광 패널에 대한 영상 분할을 시도하였다. 지상 참조자료를 이용하여 제작된 학습자료는 기하학적 변형과 색상 변형을 통해 자료를 증강하였으며, 서로 다른 조합의 학습자료를 구성하여 중복모델을 구축하였다. 중복모델은 입력자료에 대해 다른 추론 결과를 도출하며 이를 융합하여 신뢰성 높은 추론 결과를 재생산할 수 있었다. 그러나 중복모델 사용에 따른 추론 결과의 융합에 많은 시간이 소요됨에 따라 향후 이를 개선하기 위한 연구가 수행될 필요가 있을 것으로 판단된다.
한편 Jeong et al. (2024)은 다목적실용위성 3호 영상을 이용한 야적 퇴비 탐지에 있어 다양한 딥러닝 모델을 적용하고 성능을 비교하였다. 야적 퇴비는 축산에서 발생하는 비점오염원(non-point source pollution)으로 하천, 강, 지하수 등으로 유입되어 수질 오염을 발생시킨다. 또한 야적 퇴비를 오랫동안 처리하지 않을 경우 다양한 위생적인 문제도 유발할 수 있어서 야적 퇴비에 대한 관리는 철저히 이루어져야 하나 실제 전국에 걸쳐 있는 축산시설에 대한 야적 퇴비를 현장조사를 통해 모두 확인하기에는 어려움이 있다. 일부 4대강 유역을 접하는 지류에 대해 드론(drone) 등과 같은 무인기(unmanned aircraft vehicle)를 이용하여 야적 퇴비를 탐지한 사례가 있으나(Kim et al., 2021; Park et al, 2024), 넓은 지역을 주기적으로 모니터링 하기에는 한계가 있다. Jeong et al. (2024)은 위성영상 기반의 야적 퇴비 탐지 연구를 위해 4가지 딥러닝 모델을 적용하고 성능을 분석하였다. 그 중에서 두 가지 모델을 결합한 혼합모델에서 가장 높은 성능을 확인함에 따라 농촌지역에서 가장 대표적인 비점오염원인 야적 퇴비를 위성영상 기반으로 효과적으로 탐지할 수 있는 방안을 제시하였다.
딥러닝 기반의 영상 분할(image segmentation) 등을 위한 학습자료 제작에 있어 초기 영상에 대한 전처리는 향후 추론 결과에 영향을 줄 수 있어 매우 신중히 처리할 필요가 있다. 특히 학습자료 제작을 위해서는 많은 영상이 필요하므로 다중 시기에 촬영된 다양한 영상을 사용할 수밖에 없다. 서로 다른 시기에 촬영된 영상의 경우 동일 지역이라고 하더라도 촬영 당시의 대기, 기상 여건 및 촬영 방식 등에 따라 육안으로 봤을 때 영상의 밝기, 색상 등은 다르게 보일 수 있다. 따라서 이와 같은 자료로 학습한 의미론적 분할(sematic segmentation) 모델은 높은 성능을 발휘하기에 어려움이 있다. 일반적으로 영상이 너무 밝거나 어두울 경우 제외하고 사용하는 것이 좋으나 이를 일일이 확인하고 제외하기도 힘들뿐더러 학습자료의 수가 많지 않으면 무조건 제외하기에는 어려움이 있다.
따라서 영상을 더욱 효과적으로 처리하기 위해 다양한 영상 향상기법이 많이 사용되고 있다. Ju et al. (2024)은 다양한 영상 향상 기법에 따른 의미론적 분할 모델의 성능을 분석하였다. 총 5가지 영상 향상 기법(percentile stretching 등)을 5개의 의미론적 분할 모델(U-Net 등)에 적용하여 각 영상 향상 기법별 분할 모델 성능을 분석하였으며, 해당 연구에서는 percentile stretching 방식이 대체로 의미론적 분할 모델에서 좋은 성능을 발휘하는 것으로 나타났다. 그러나 객체별로 영상 향상의 효과가 다르게 나타나기 때문에 모든 영상에 동일한 기법을 획일적으로 적용하기에는 한계가 있어 더욱 다양한 종류의 영상과 객체를 이용한 지속적인 연구가 수행될 필요가 있다.
다목적실용위성 3A호는 고해상도 광학센서와 MIR 센서를 탑재하고 있어 주야간 모두 영상 촬영이 가능하다는 장점이 있다. 특히 3A호의 MIR (3.3–5.2 μm) 파장 대역의 영상은 지표 및 객체에 대한 온도정보 추정이 가능함에 따라 다양한 목적으로 활용이 가능하다. MIR 센서는 주야간 모두 영상 촬영이 가능하지만, 태양광이 없는 야간에 촬영할 때 태양광 반사에 따른 영향이 거의 없어서 온도정보를 추출하기에 효과적이다. 그러나 주간에 촬영된 MIR 영상과 야간에 촬영된MIR 영상을 연계하여 활용하기 위해서는 두 영상 간에 기하학적인 위치 오차가 없어야 한다. 특히MIR 영상과 같이 공간해상도가 높지 않으면 영상(픽셀) 간의 위치 오차가 없어야 정확한 비교 또는 변화를 확인할 수 있다. 또한 다중 시기에 촬영된 영상을 활용할 경우 영상 간 위치 차이를 소거하기 위해 전처리 과정에서 영상 간 상호등록(image co-registration)을 수행하는 것이 일반적이다. Jung et al. (2024)은 다시기의 다목적실용위성 3A호MIR 주야간 영상 간의 상호등록을 위해 radiation-invariant feature transform (RIFT) 기법을 최적화하는 방안을 제시하였다. 향후 지형 특성이 더욱 복잡한 도심지 등에 적용하여 알고리즘을 개선하면 다중 시기 시계열 MIR 영상을 이용한 주간-야간 간의 변화를 더욱 효과적으로 분석할 수 있을 것으로 기대된다.
영상 매칭(image matching) 기반의 상호 정합은 시계열 영상뿐만 아니라 다양한 영상을 혼합하여 사용하는 데 있어 반드시 요구되는 전처리 과정으로 최종 산출물 품질 향상에 있어 중요한 요소이다. 최근 영상정합을 위해서 다양한 딥러닝 기술이 많이 연구되고 있는데, 일반적으로 딥러닝 모델의 성능을 개선하기 위해서는 많은 학습자료가 요구되며, 이를 위해서는 많은 시간과 노력이 요구된다. 이와 같은 문제점을 보완하기 위해서 pseudo-label을 생성하여 네트워크를 구축하는 자기지도학습(self-supervised learning) 방법이 많이 활용되고 있다(Zhao et al., 2022). Kim et al. (2024b)은 다양한 고해상도 위성영상 간 End-to-End 방식으로 정합점(matching point)을 추출하는 자기지도학습 네트워크를 학습하기 위해 자동 훈련 자료(automatic training data) 생성 방안을 제시하였다. End-to-End 매칭 방법은 특징점(feature point) 추출, 서술 벡터 생성 및 특징점 매칭 과정을 통합하여 정합점을 추출하는 방법이다. Kim et al. (2024a)은 실험을 통해 다량의 학습자료와 검증자료로 구성된 훈련자료를 생성하였으며, 이를 통해 학습된 End-to-End 매칭 네트워크는 높은 정합 성능을 보여주었다. 향후 이종 영상 간에도 적용할 수 있는 범용성을 확보한다면 다중영상을 이용한 딥러닝 활용 연구에도 많은 도움이 될 것으로 판단된다.
본 특별호에서는 두 편의 SAR 변화탐지 논문을 소개하고자 한다. 우선 Kim et al. (2024b)은 긴밀도 변화 탐지(coherence changedetection) 기법을 이용하여 화산 분화에 의한 지표변화 분석을 수행하였는데, 광학 영상을 사용하여 support vectormachine (SVM) 기법을 적용하여 긴밀도 변화탐지 기법의 임계 값을 산출하여 적용하였다. 이를 통해 긴밀도 변화탐지 기법과 SVM알고리즘을 혼합하여 사용하면 화산 분화로 인한 지표 변위 지역을 효과적으로 산출할 수 있음을 확인하였다. 비록 해당 연구에서는 다목적실용위성이 사용되지는 않았으나, 향후 발사될 다목적실용위성 6호를 이용한 지표변화 탐지에 있어 사전 연구로 중요한 의미를 가지며, 다목적실용위성 6호에 연구 결과를 적용한다면 더욱 정밀한 지표변화 관측이 가능할 것으로 기대된다.
Chae et al. (2024)은 다목적실용위성 5호 SAR 영상의 statistically homogeneous pixel (SHP) 및 긴밀도 정보를 이용하여 변화탐지 연구를 수행하였다. 일반적으로 광학 영상의 경우 구름 등 기상 여건에 따라 동일지역에 대한 다시기 영상을 확보하기에 어려움이 있다. 그러나 SAR 영상의 경우 상대적으로 기상 영향을 받지 않으며, 최근 초소형 SAR 군집위성 등이 많이 등장함에 따라 SAR 영상을 이용한 변화 탐지 연구의 중요성이 대두되고 있다. 특히 SAR 영상의 공간해상도가 지속해서 개선됨에 따라 복잡한 도심지역에서의 변화탐지도 가능해지고 있다. Chae et al. (2024)은 SHP 정보와 긴밀도 정보를 융합한 시계열 변화탐지 프레임워크를 적용하여 항만 컨테이너 적치장에서의 변화탐지 분석을 통해 고해상도 시계열 SAR 영상을 이용한 복잡한 지역에서의 변화탐지 분석 가능성을 제시하였다.
한편, 본 특별호에서는 2024 위성정보활용 경진대회 수상작을 소개하고자 한다. 올해로 3회째를 맞이한 위성정보활용 경진대회는 매년 많은 학생이 참여하고 있다. 올해는 위성정보 활용 아이디어 발굴 및 다시기 변화탐지 두 개의 부문으로 나누어 진행되었으며, 수상작 중에서 3편의 논문이 특별호에 게재되었다.
SAR 신호의 특성으로 인해 이동하는 선박의 경우 위상 왜곡이 발생하여 선박 식별력이 떨어질 수 있다. Song et al. (2024)은 선박 속도에 의한 위상 왜곡을 보정하는 재초점화(refocusing) 기술을 적용하여 다종 SAR 영상 내에서 이동 선박의 위상 왜곡을 보정 할 수 있음을 확인하고 이를 통해 선박 식별 정확도를 개선 시킬 수 있었다. 이와 같은 재초점화 기술은 고품질의 학습자료 제작과 객체 탐지에 있어 매우 유용하게 활용될 수 있을 것으로 기대된다.
최근 고해상도 위성이 증가함에 따라 다량의 영상을 개별적으로 보정하기에는 한계가 있어 자동화된 처리 방안에 대한 연구가 주목받고 있다. Ban et al. (2024)은 지상기준점이 필요 없는 상대 기하보정(relative geometry correction)과 inverse georeferencing 방법을 결합하여 tie point만을 사용하여 다수의 다목적실용위성 3A호 L1R 영상을 기하 정렬하는 방안을 제안하였다. 실험에서는 정밀 보정된 참조영상 1장을 이용하여 광속조정법(bundle block adjustment)을 통해 보정되지 않은 다수의 다목적실용위성 3A호 영상의 rational polynomial coefficient (RPC) 보정 계수를 추정하는 방식으로 보정된 단일 영상만을 사용하여 여러 장의 영상을 정밀보정 할 수 있음을 제시하였다.
한편 다목적실용위성 3A호와 같은 고해상도 광학 영상은 복잡한 도심지역에서의 변화상을 분석하기에 유용하다. 특히 도시개발에 따른 건물 객체 등을 탐지하고 변화를 분석하는 데 있어 딥러닝 기술과 연계되어 매우 효과적으로 활용될 수 있다. Tobias et al. (2024)은 다시기 변화탐지 부문에서 SyntheWorld 학습자료와 synthetic data-augmented Mamba-based change detection algorithm(SAMBA)을 이용하여 매우 높은 정확도로 건물 변화탐지를 수행하였다.
다목적실용위성 영상 활용 특별호는 다목적실용위성 시리즈의 다양한 광학, SAR, MIR 영상을 이용하여 수행된 최신 연구 결과를 소개할 목적으로 매년 발행되고 있다. 다목적실용위성 1호 발사 후 지난 25년 동안 다목적실용위성 시리즈 위성영상은 매우 다양한 연구에 활용되어 왔으며, 최근에는 딥러닝 기술과 연계하여 영상정합, 영상 분할 및 분류, 객체 탐지, 변화탐지 등과 같은 연구에 많이 이용되고 있다. 다중센서로 구성된 고해상도 다목적실용위성 영상자료는 다양한 연구 성과를 바탕으로 국내 공공부문 현업에 적용되어 각종 정밀 주제도 제작, 변화 모니터링, 재난분석 등에 활용되고 있으며 위성 영상 수요는 지속적으로 증가하고 있다. 지금까지의 연구 결과가 후속 다목적실용위성 시리즈와 연계되어 보다 다양한 분야에서 폭넓게 활용되기 위해서는 기술 확대 발전을 위한 연구가 지속해서 수행되어야 할 것이다.
이 논문은 한국항공우주연구원 “정부 위성정보활용협의체 지원(FR24J00)” 사업과 과학기술정보통신부의 재원으로 한국연구재단 “위성정보빅데이터 활용지원체계 개발(RS-2022-00165154)” 사업의 지원을 받아 수행하였으며, 이에 감사드립니다.
No potential conflict of interest relevant to this article was reported.
Korean J. Remote Sens. 2024; 40(6): 1391-1395
Published online December 31, 2024 https://doi.org/10.7780/kjrs.2024.40.6.3.1
Copyright © Korean Society of Remote Sensing.
이광재1*, 오관영2, 이선구1
1한국항공우주연구원 위성활용부 책임연구원
2한국항공우주연구원 위성활용부 선임연구원
Kwang-Jae Lee1* , Kwan-Young Oh2 , Sun-Gu Lee1
1Principal Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
2Senior Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
Correspondence to:Kwang-Jae Lee
E-mail: kjlee@kari.re.kr
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
The Korea Multi-Purpose Satellite (KOMPSAT) series developed according to the Master Plan for the Promotion of Space Development started with launching the first satellite in December 1999, and five satellites have been launched. Currently, KOMPSAT-3, 3A, and 5 are in operation. The KOMPSAT series equipped with high-resolution optical, synthetic aperture radar (SAR), and middle-wave infrared (MIR) sensors have been utilized in various fields such as land, environment, forestry, agriculture, and disaster over the past 25 years, and have recently been utilized in various studies such as image segmentation, object detection, and change detection in conjunction with deep learning technology. In this special issue, we would like to introduce various research results recently conducted using images from the KOMPSAT series.
Keywords: KOMPSAT, Deep learning, Change detection, Image segmentation, Object detection
국내 독자적인 실용급 관측 위성 개발 능력을 확보하고 공공수요의 위성영상 수요 충족을 위해서 추진된 다목적실용위성(아리랑위성) 개발사업은 1994년에 시작되어 현재까지 30년 이상 지속되고 있다. 1999년 12월 다목적실용위성 1호의 성공적인 발사를 시작으로 25년 동안 총 5기의 다목적실용위성이 발사되었으며, 현재 다목적실용위성 3호, 3A호, 5호가 운영 중이다. 한편 다목적실용위성 1호와 2호는 2007년 12월과 2015년 10월에 각각 임무가 종료되었다. 다목적실용위성은 고해상도 광학, synthetic aperture radar (SAR), 중적외(middle-wave infrared, MIR) 센서를 탑재하여 다중센서 위성영상을 제공함에 따라 국가 안보 분야를 비롯하여 국토변화, 산림 및 농업, 수자원, 해양, 재난 등 다양한 분야에서 활용되고 있다. 또한 다목적실용위성 시리즈는 위성영상 자료처리, 분석 및 활용을 위한 연구에도 매우 활발히 이용되어 왔다(Yang and Jeong, 2018; Chae et al., 2021; Kim et al., 2022; Jung et al., 2022; Won and Eo, 2022; Lee et al., 2023a; 2023b; 2024; Gong et al., 2023; Yang and Kim, 2023; Yu et al., 2023). 한편 Lee (2024)는 1985년부터 대한원격탐사학회지에 게재된 아리랑위성 관련 논문 약 220여편을 조사하여 시스템, 국토/도시, 산림, 농업, 재난, 자료 처리 등 11개 분야로 분류하여 연구 현황을 분석한 사례가 있다.
한국항공우주연구원은 다목적실용위성 영상자료 처리, 검보정 및 품질개선, 활용분야별 다양한 분석 및 응용 연구 등을 장려하고 최신 연구 현황을 소개하기 위해서 대한원격탐사학회지에 매년 다목적실용위성 영상 활용 특별호를 발행하고 있다. 올해는 총 10편의 다목적실용위성 영상자료 활용 관련 논문이 특별호에 게재되었으며, 본 사설에서는 특별호에 게재된 논문에 대해서 간략하게 소개하고자 한다.
다목적실용위성 영상처리 및 활용관련 연구논문은 국내뿐만 아니라 해외의 다양한 저널을 통해서도 많이 소개되었다(Lee et al., 2021). 전세계적으로 고해상도 광학, SAR, MIR 센서로 구성된 위성 시리즈는 매우 드물어서 다목적실용위성 시리즈는 동종 또는 이종센서 간의 융합 등 다양한 자료처리 연구와 응용 연구에 있어 매우 유용하게 활용되고 있다. 최근 국내에서는 딥러닝(deep learning) 기반의 영상 분할 및 객체 탐지 기술을 활용하여 산림분류, 도로탐지, 도심 건물 탐지 등과 같은 연구가 활발히 진행되고 있다(Baek et al., 2021; Chae et al., 2022; Park et al., 2023).
도시의 지속적인 팽창은 오늘날 농촌지역까지 영향을 받고 있으며, 이를 통해 다양한 사회적 문제가 발생하고 있다. 농촌 공간 재구조화는 농촌지역을 기능별로 구획하여 생활 정주 여건을 개선하고 산업기반을 강화하는 데 목적이 있다. 그러나 농촌지역에 존재하는 다양한 시설을 분류하고 주기적으로 관찰하기에는 어려움이 존재한다. 항공영상은 공간해상도가 높은 장점은 있으나 주기적인 촬영이 불가능하여 현장의 변화상을 지속해서 업데이트하기에는 한계가 있다. 따라서 고해상도 위성영상을 통해 농촌지역의 주요시설을 분류하고 관리할 수 있다면 지속 가능한 농촌 공간 재구조화를 추진할 수 있을 것으로 기대된다. Chang et al. (2024)은 중복 딥러닝 모델을 이용하여 농촌시설을 분할하는 연구를 수행하였다. 한국항공우주연구원은 매년 한반도 모자이크 영상을 제작하고 있는데, 연구에서는 2019년과 2020년 모자이크 영상을 이용하여 농촌 공간 재구조화의 주요 관심시설인 축사, 공장, 태양광 패널에 대한 영상 분할을 시도하였다. 지상 참조자료를 이용하여 제작된 학습자료는 기하학적 변형과 색상 변형을 통해 자료를 증강하였으며, 서로 다른 조합의 학습자료를 구성하여 중복모델을 구축하였다. 중복모델은 입력자료에 대해 다른 추론 결과를 도출하며 이를 융합하여 신뢰성 높은 추론 결과를 재생산할 수 있었다. 그러나 중복모델 사용에 따른 추론 결과의 융합에 많은 시간이 소요됨에 따라 향후 이를 개선하기 위한 연구가 수행될 필요가 있을 것으로 판단된다.
한편 Jeong et al. (2024)은 다목적실용위성 3호 영상을 이용한 야적 퇴비 탐지에 있어 다양한 딥러닝 모델을 적용하고 성능을 비교하였다. 야적 퇴비는 축산에서 발생하는 비점오염원(non-point source pollution)으로 하천, 강, 지하수 등으로 유입되어 수질 오염을 발생시킨다. 또한 야적 퇴비를 오랫동안 처리하지 않을 경우 다양한 위생적인 문제도 유발할 수 있어서 야적 퇴비에 대한 관리는 철저히 이루어져야 하나 실제 전국에 걸쳐 있는 축산시설에 대한 야적 퇴비를 현장조사를 통해 모두 확인하기에는 어려움이 있다. 일부 4대강 유역을 접하는 지류에 대해 드론(drone) 등과 같은 무인기(unmanned aircraft vehicle)를 이용하여 야적 퇴비를 탐지한 사례가 있으나(Kim et al., 2021; Park et al, 2024), 넓은 지역을 주기적으로 모니터링 하기에는 한계가 있다. Jeong et al. (2024)은 위성영상 기반의 야적 퇴비 탐지 연구를 위해 4가지 딥러닝 모델을 적용하고 성능을 분석하였다. 그 중에서 두 가지 모델을 결합한 혼합모델에서 가장 높은 성능을 확인함에 따라 농촌지역에서 가장 대표적인 비점오염원인 야적 퇴비를 위성영상 기반으로 효과적으로 탐지할 수 있는 방안을 제시하였다.
딥러닝 기반의 영상 분할(image segmentation) 등을 위한 학습자료 제작에 있어 초기 영상에 대한 전처리는 향후 추론 결과에 영향을 줄 수 있어 매우 신중히 처리할 필요가 있다. 특히 학습자료 제작을 위해서는 많은 영상이 필요하므로 다중 시기에 촬영된 다양한 영상을 사용할 수밖에 없다. 서로 다른 시기에 촬영된 영상의 경우 동일 지역이라고 하더라도 촬영 당시의 대기, 기상 여건 및 촬영 방식 등에 따라 육안으로 봤을 때 영상의 밝기, 색상 등은 다르게 보일 수 있다. 따라서 이와 같은 자료로 학습한 의미론적 분할(sematic segmentation) 모델은 높은 성능을 발휘하기에 어려움이 있다. 일반적으로 영상이 너무 밝거나 어두울 경우 제외하고 사용하는 것이 좋으나 이를 일일이 확인하고 제외하기도 힘들뿐더러 학습자료의 수가 많지 않으면 무조건 제외하기에는 어려움이 있다.
따라서 영상을 더욱 효과적으로 처리하기 위해 다양한 영상 향상기법이 많이 사용되고 있다. Ju et al. (2024)은 다양한 영상 향상 기법에 따른 의미론적 분할 모델의 성능을 분석하였다. 총 5가지 영상 향상 기법(percentile stretching 등)을 5개의 의미론적 분할 모델(U-Net 등)에 적용하여 각 영상 향상 기법별 분할 모델 성능을 분석하였으며, 해당 연구에서는 percentile stretching 방식이 대체로 의미론적 분할 모델에서 좋은 성능을 발휘하는 것으로 나타났다. 그러나 객체별로 영상 향상의 효과가 다르게 나타나기 때문에 모든 영상에 동일한 기법을 획일적으로 적용하기에는 한계가 있어 더욱 다양한 종류의 영상과 객체를 이용한 지속적인 연구가 수행될 필요가 있다.
다목적실용위성 3A호는 고해상도 광학센서와 MIR 센서를 탑재하고 있어 주야간 모두 영상 촬영이 가능하다는 장점이 있다. 특히 3A호의 MIR (3.3–5.2 μm) 파장 대역의 영상은 지표 및 객체에 대한 온도정보 추정이 가능함에 따라 다양한 목적으로 활용이 가능하다. MIR 센서는 주야간 모두 영상 촬영이 가능하지만, 태양광이 없는 야간에 촬영할 때 태양광 반사에 따른 영향이 거의 없어서 온도정보를 추출하기에 효과적이다. 그러나 주간에 촬영된 MIR 영상과 야간에 촬영된MIR 영상을 연계하여 활용하기 위해서는 두 영상 간에 기하학적인 위치 오차가 없어야 한다. 특히MIR 영상과 같이 공간해상도가 높지 않으면 영상(픽셀) 간의 위치 오차가 없어야 정확한 비교 또는 변화를 확인할 수 있다. 또한 다중 시기에 촬영된 영상을 활용할 경우 영상 간 위치 차이를 소거하기 위해 전처리 과정에서 영상 간 상호등록(image co-registration)을 수행하는 것이 일반적이다. Jung et al. (2024)은 다시기의 다목적실용위성 3A호MIR 주야간 영상 간의 상호등록을 위해 radiation-invariant feature transform (RIFT) 기법을 최적화하는 방안을 제시하였다. 향후 지형 특성이 더욱 복잡한 도심지 등에 적용하여 알고리즘을 개선하면 다중 시기 시계열 MIR 영상을 이용한 주간-야간 간의 변화를 더욱 효과적으로 분석할 수 있을 것으로 기대된다.
영상 매칭(image matching) 기반의 상호 정합은 시계열 영상뿐만 아니라 다양한 영상을 혼합하여 사용하는 데 있어 반드시 요구되는 전처리 과정으로 최종 산출물 품질 향상에 있어 중요한 요소이다. 최근 영상정합을 위해서 다양한 딥러닝 기술이 많이 연구되고 있는데, 일반적으로 딥러닝 모델의 성능을 개선하기 위해서는 많은 학습자료가 요구되며, 이를 위해서는 많은 시간과 노력이 요구된다. 이와 같은 문제점을 보완하기 위해서 pseudo-label을 생성하여 네트워크를 구축하는 자기지도학습(self-supervised learning) 방법이 많이 활용되고 있다(Zhao et al., 2022). Kim et al. (2024b)은 다양한 고해상도 위성영상 간 End-to-End 방식으로 정합점(matching point)을 추출하는 자기지도학습 네트워크를 학습하기 위해 자동 훈련 자료(automatic training data) 생성 방안을 제시하였다. End-to-End 매칭 방법은 특징점(feature point) 추출, 서술 벡터 생성 및 특징점 매칭 과정을 통합하여 정합점을 추출하는 방법이다. Kim et al. (2024a)은 실험을 통해 다량의 학습자료와 검증자료로 구성된 훈련자료를 생성하였으며, 이를 통해 학습된 End-to-End 매칭 네트워크는 높은 정합 성능을 보여주었다. 향후 이종 영상 간에도 적용할 수 있는 범용성을 확보한다면 다중영상을 이용한 딥러닝 활용 연구에도 많은 도움이 될 것으로 판단된다.
본 특별호에서는 두 편의 SAR 변화탐지 논문을 소개하고자 한다. 우선 Kim et al. (2024b)은 긴밀도 변화 탐지(coherence changedetection) 기법을 이용하여 화산 분화에 의한 지표변화 분석을 수행하였는데, 광학 영상을 사용하여 support vectormachine (SVM) 기법을 적용하여 긴밀도 변화탐지 기법의 임계 값을 산출하여 적용하였다. 이를 통해 긴밀도 변화탐지 기법과 SVM알고리즘을 혼합하여 사용하면 화산 분화로 인한 지표 변위 지역을 효과적으로 산출할 수 있음을 확인하였다. 비록 해당 연구에서는 다목적실용위성이 사용되지는 않았으나, 향후 발사될 다목적실용위성 6호를 이용한 지표변화 탐지에 있어 사전 연구로 중요한 의미를 가지며, 다목적실용위성 6호에 연구 결과를 적용한다면 더욱 정밀한 지표변화 관측이 가능할 것으로 기대된다.
Chae et al. (2024)은 다목적실용위성 5호 SAR 영상의 statistically homogeneous pixel (SHP) 및 긴밀도 정보를 이용하여 변화탐지 연구를 수행하였다. 일반적으로 광학 영상의 경우 구름 등 기상 여건에 따라 동일지역에 대한 다시기 영상을 확보하기에 어려움이 있다. 그러나 SAR 영상의 경우 상대적으로 기상 영향을 받지 않으며, 최근 초소형 SAR 군집위성 등이 많이 등장함에 따라 SAR 영상을 이용한 변화 탐지 연구의 중요성이 대두되고 있다. 특히 SAR 영상의 공간해상도가 지속해서 개선됨에 따라 복잡한 도심지역에서의 변화탐지도 가능해지고 있다. Chae et al. (2024)은 SHP 정보와 긴밀도 정보를 융합한 시계열 변화탐지 프레임워크를 적용하여 항만 컨테이너 적치장에서의 변화탐지 분석을 통해 고해상도 시계열 SAR 영상을 이용한 복잡한 지역에서의 변화탐지 분석 가능성을 제시하였다.
한편, 본 특별호에서는 2024 위성정보활용 경진대회 수상작을 소개하고자 한다. 올해로 3회째를 맞이한 위성정보활용 경진대회는 매년 많은 학생이 참여하고 있다. 올해는 위성정보 활용 아이디어 발굴 및 다시기 변화탐지 두 개의 부문으로 나누어 진행되었으며, 수상작 중에서 3편의 논문이 특별호에 게재되었다.
SAR 신호의 특성으로 인해 이동하는 선박의 경우 위상 왜곡이 발생하여 선박 식별력이 떨어질 수 있다. Song et al. (2024)은 선박 속도에 의한 위상 왜곡을 보정하는 재초점화(refocusing) 기술을 적용하여 다종 SAR 영상 내에서 이동 선박의 위상 왜곡을 보정 할 수 있음을 확인하고 이를 통해 선박 식별 정확도를 개선 시킬 수 있었다. 이와 같은 재초점화 기술은 고품질의 학습자료 제작과 객체 탐지에 있어 매우 유용하게 활용될 수 있을 것으로 기대된다.
최근 고해상도 위성이 증가함에 따라 다량의 영상을 개별적으로 보정하기에는 한계가 있어 자동화된 처리 방안에 대한 연구가 주목받고 있다. Ban et al. (2024)은 지상기준점이 필요 없는 상대 기하보정(relative geometry correction)과 inverse georeferencing 방법을 결합하여 tie point만을 사용하여 다수의 다목적실용위성 3A호 L1R 영상을 기하 정렬하는 방안을 제안하였다. 실험에서는 정밀 보정된 참조영상 1장을 이용하여 광속조정법(bundle block adjustment)을 통해 보정되지 않은 다수의 다목적실용위성 3A호 영상의 rational polynomial coefficient (RPC) 보정 계수를 추정하는 방식으로 보정된 단일 영상만을 사용하여 여러 장의 영상을 정밀보정 할 수 있음을 제시하였다.
한편 다목적실용위성 3A호와 같은 고해상도 광학 영상은 복잡한 도심지역에서의 변화상을 분석하기에 유용하다. 특히 도시개발에 따른 건물 객체 등을 탐지하고 변화를 분석하는 데 있어 딥러닝 기술과 연계되어 매우 효과적으로 활용될 수 있다. Tobias et al. (2024)은 다시기 변화탐지 부문에서 SyntheWorld 학습자료와 synthetic data-augmented Mamba-based change detection algorithm(SAMBA)을 이용하여 매우 높은 정확도로 건물 변화탐지를 수행하였다.
다목적실용위성 영상 활용 특별호는 다목적실용위성 시리즈의 다양한 광학, SAR, MIR 영상을 이용하여 수행된 최신 연구 결과를 소개할 목적으로 매년 발행되고 있다. 다목적실용위성 1호 발사 후 지난 25년 동안 다목적실용위성 시리즈 위성영상은 매우 다양한 연구에 활용되어 왔으며, 최근에는 딥러닝 기술과 연계하여 영상정합, 영상 분할 및 분류, 객체 탐지, 변화탐지 등과 같은 연구에 많이 이용되고 있다. 다중센서로 구성된 고해상도 다목적실용위성 영상자료는 다양한 연구 성과를 바탕으로 국내 공공부문 현업에 적용되어 각종 정밀 주제도 제작, 변화 모니터링, 재난분석 등에 활용되고 있으며 위성 영상 수요는 지속적으로 증가하고 있다. 지금까지의 연구 결과가 후속 다목적실용위성 시리즈와 연계되어 보다 다양한 분야에서 폭넓게 활용되기 위해서는 기술 확대 발전을 위한 연구가 지속해서 수행되어야 할 것이다.
이 논문은 한국항공우주연구원 “정부 위성정보활용협의체 지원(FR24J00)” 사업과 과학기술정보통신부의 재원으로 한국연구재단 “위성정보빅데이터 활용지원체계 개발(RS-2022-00165154)” 사업의 지원을 받아 수행하였으며, 이에 감사드립니다.
No potential conflict of interest relevant to this article was reported.
Rogelio Ruzcko Tobias, Sejeong Bae, Hwanhee Cho, Jungho Im
Korean J. Remote Sens. 2024; 40(6): 1505-1521