Research Article

Split Viewer

Korean J. Remote Sens. 2024; 40(6): 1067-1077

Published online: December 31, 2024

https://doi.org/10.7780/kjrs.2024.40.6.1.16

© Korean Society of Remote Sensing

Swin Transformer 모델과 PlanetScope 영상을 이용한 산사태 피해지 탐지: 입력 정보 조합에 따른 성능 평가

안재성1, 김예지2, 김현옥3, 김광진4, 이양원5*

1경일대학교 국토정보학부 교수
2한국항공우주연구원 위성활용부 연구원
3한국항공우주연구원 위성활용부 책임연구원
4나라스페이스테크놀로지 영상분석팀 연구원
5부경대학교 지구환경시스템과학부 공간정보시스템공학전공 교수

Received: November 23, 2024; Revised: December 3, 2024; Accepted: December 3, 2024

Landslide Detection Using Swin Transformer Model and PlanetScope Images: A Performance Comparison by the Input Data Combination

Jaesong Ahn1, Yeji Kim2, Hyunok Kim3, Kwangjin Kim4, Yangwon Lee5*

1Professor, Division of Land Information, Kyungil University, Gyeongsan, Republic of Korea
2Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
3Principal Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
4Researcher, Image Analysis Team, Nara Space Technology Inc., Seoul, Republic of Korea
5Professor, Major of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University, Busan, Republic of Korea

Correspondence to : Yangwon Lee
E-mail: modiconfig@pknu.ac.kr

Received: November 23, 2024; Revised: December 3, 2024; Accepted: December 3, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Landslide areas have the limitation of less distinct spectral characteristics compared to other land cover types. To address this, combining spectral information provided by satellite imagery with other types of information can improve the performance of deep learning-based landslide detection. This study analyzes the performance differences of a deep learning model when various combinations of spectral information, vegetation information, topographic information, and texture information are used. The model used in this study is the Swin Transformer, which is known for its high performance in landslide detection, along with PlanetScope satellite data that provides daily global observations. The experimental results showed that using only spectral information achieved a mean Intersection over Union (mIoU) accuracy of 72.08%, while combining spectral, vegetation, terrain, and texture information in various ways resulted in a maximum mIoU accuracy of 74.31%. Although this demonstrates an improvement in model performance, the difference was not substantial. When the model was applied to test datasets, performance differences were observed depending on regional characteristics. In regions with extensive forest coverage, datasets utilizing diverse types of information exhibited improved predictive capabilities compared to those using only spectral information. However, in regions where forests, croplands, bare land, and developed areas were intermixed, the model’s relative detection ability tended to decrease. Even in these cases, the combination of spectral, vegetation, topographic, and texture information resulted in relatively superior detection capabilities. This study highlights the importance of carefully selecting input information in landslide detection using deep learning models and satellite imagery, demonstrating how such choices significantly influence model performance.

Keywords Landslide, PlaneScope, Swin Transformer, Deep learning

산사태 발생 후 피해 복구 계획을 수립하기 위해서는 산사태 피해지를 신속하고 정확하게 탐지하는 것이 중요하다. 산사태 피해지 탐지 방법으로는 현장 조사, 위성영상을 활용한 육안 판독, 위성영상을 활용한 자동 탐지 방법이 있다. 산사태는 급경사 사면에서 발생하는 경우가 많아 현장 조사가 어렵고, 항공 사진이나 위성 영상을 활용한 육안 판독은 상대적으로 시간이 많이 소요된다는 단점이 있다(Wu et al., 2024). 반면, 위성영상을 활용한 자동 탐지는 현장 접근이 어려운 지역에서도 신속하게 산사태 피해지를 탐지할 수 있어 주요 탐지 방법으로 활용되고 있다.

최근 위성영상을 활용한 자동 탐지 방법에 다양한 딥러닝 기반 모델이 적용되고 있다(Cheng et al., 2024). 산사태 피해 영역 탐지를 위해 영상 인식 분야에서 활용되는 다양한 의미론적 분할(semantic segmentation) 모델을 활용할 수 있다. 영상 인식 분야의 의미론적 분할 모델은 합성곱 신경망(ConvolutionalNeuralNetwork, CNN) 기반 모델에서 시작하여, 셀프 어텐션(self-attention) 메커니즘을 사용하는 Vision Transformer 기반 모델로 발전해왔다. 특히, 2021년 마이크로소프트에서 발표한 Swin Transformer는 기존의 CNN 기반 모델이나VisionTransformer보다 뛰어난 성능을 보여주었다(Liu et al., 2021).

Ghorbanzadeh et al. (2022a)은 FCN-8s, PSPNet, ContextNet, DeepLabv2, DeepLab-v3+, LinkNet, FRRN, SQNet, U-Net, ResU-Net을 산사태 탐지에 적용한 결과, U-Net과 ResU-Net이 다른 모델보다 우수한 성능을 보였다고 보고하였다. 최근 딥러닝 기반 영상 인식 분야에서는 Swin Transformer 모델이 의미론적 영상 분할에 널리 활용되고 있으며, 산사태 탐지에서도 단일 영상 데이터를 활용하여 탐지 성능을 향상시킨 사례가 있다(Ghorbanzadeh et al., 2022b). Swin Transformer 모델은 셀프 어텐션(self-attention) 메커니즘을 활용하여 입력 영상의 특정 채널에 반응하는 산사태 피해 지역의 특징에 선택적으로 집중할 수 있기 때문에 우수한 산사태 탐지 능력을 발휘할 수 있다.

산사태 피해지는 다른 토지 피복지에 비해 분광 특성이 명확하지 않은 경우가 많다(Zhong et al., 2020). 산사태 피해지가 나지와 구분되지 않거나 피해지에 나무와 풀이 섞여 있을 경우 분광 정보만으로 구분하기 어려운 한계가 있다. 이러한 문제를 해결하기 위해, 딥러닝 기반 산사태 피해지 탐지 성능을 향상시키기 위해 위성영상에서 제공하는 분광 정보와 다른 정보를 결합하는 연구가 진행되어 왔다(Ghorbanzadeh et al., 2019; Ghorbanzadeh et al., 2021; Meena et al., 2022; Ren et al., 2024). Ren et al. (2024)은 ENVINet5 기반 딥러닝 모델과 Sentinel-2A 위성영상을 활용한 산사태 탐지 연구에서 분광 정보, 지형 정보, 질감 정보를 결합했을 때 단순히 분광 정보만을 활용했을 때보다 성능이 향상된 결과를 확인하였다. Meena et al. (2022)은 히말라야 지역을 대상으로 RapidEye 위성영상을 활용해 U-Net 모델 기반 산사태 탐지 연구를 수행하며, 분광 정보와 지형 정보를 포함한 데이터셋을 비교했으나 정량적 성능 차이는 확인하지 못한 사례를 소개하였다. 이러한 연구들은 딥러닝 모델과 위성 영상을 활용한 산사태 탐지에서 딥러닝 모델과 데이터셋 구성에 따라 입력 정보를 신중히 선택할 필요가 있음을 시사한다.

본 연구는 산사태 탐지에서 높은 성능을 보인다고 알려진 Swin Transformer 딥러닝 모델과 전 세계를 일별로 관측할 수 있는 PlanetScope 위성을 활용하여 분광 정보, 식생 정보, 지형 정보, 질감 정보를 다양하게 조합했을 때 딥러닝 모델의 성능 차이를 분석하는 것을 목표로 한다. 특히, 본 연구는 우리나라 산사태 피해 지역에서 촬영된 위성 자료를 활용하며, 산사태 탐지 능력이 우수하다고 평가된 딥러닝 모델을 적용하여 입력 정보에 따른 성능 평가를 수행한다. 이를 통해 산사태 탐지를 위한 딥러닝 데이터 구축 및 모델 적용 과정에서 고 려해야 할 입력 정보 특성에 대한 실질적인 사례를 제시하는 데 의의를 둔다.

2.1. 연구 자료 및 연구 지역

본 연구에서 자료 수집 대상 지역은 2020년부터 2023년 사이에 국내에서 발생한 산사태 피해 지역이다. 산림청에서 제공한 2019년부터 2023년 사이의 산사태 발생 이력 자료를 참고하여 피해 면적이 5 ha 이상인 지역을 자료 수집 대상으로 선별하였다. 5 ha는 3미터 해상도를 기준으로 약 5,556픽셀의 영상이 커버할 수 있는 면적이다. 이후, 산사태 발생 후 PlanetScope 위성 영상을 확보할 수 있는 지역을 최종 대상 지역으로 선정하였다(Table 2).

Table 2 Data for landslide detection

No.RegionEvent DateAcquisition TimeSatellite Type
1Beolbang-ri, Yecheon-gun, Gyeongbuk2023.07.172023.07.22SuperDove
2Osan-myeon, Gokseong-gun, Jeonnam2020.08.072020.08.20Dove-C
3Sangsan Village, Sanchuk-myeon, Chungju2020.08.022020.08.24Dove-C
4Wolseong-ri, Buk-sang-myeon, Geochang-gun, Gyeongnam2020.8.112020.08.17Dove-C
5Seonse-ri, Osan-myeon, Gokseong-gun, Jeonnam Late July20202020.08.22Dove-C
6Singi-ri, Gokseong-eup, Gokseong-gun, Jeonnam Late July20202020.08.20Dove-C
7Samgeori, Mupung-myeon, Muju-gun, Jeonbuk Late July20202020.08.19Dove-C
8Un-ri, Danseong-myeon, Sancheong-gun, Gyeongnam Late July20202020.08.17Dove-C
9Yongdae-ri, Samseong-myeon, Eumseong-gun, Chungbuk Late July20202020.08.25Dove-C
10Jinpyeong-ri, Yecheon-gun, Gyeongbuk2023.7.42020.07.22SuperDove
11Wollim-ri, Geumsong-myeon, Jecheon-si2020.07.28–08.112020.08.23Dove-C
12Baedeok-ri, Jucheon-myeon, Namwon-s2020.07.28–08.112020.08.15Dove-C
13Eunsong-ri, Jucheon-myeon, Namwon-si2020.07.28–08.112020.08.15Dove-C
14Un-ri, Danseong-myeon, Sancheong-gun, Gyeongnam2020.07.28–08.112020.08.19Dove-C
15Hwangdun-ri, Sinlim-myeon, Wonju-si2020.07.28–08.112020.08.23Dove-C
16Geumgok-ri, Eunpoong-myeon, Yecheon-gun, Gyeongbuk2023.07.09–07.19.2023.08.14SuperDove
17Baekseok-ri, Hyoja-myeon, Yecheon-gun, Gyeongbuk2023.07.09–07.192023.08.14SuperDove


PlanetScope 위성은 Planet Labs에서 운영하는 200기 이상의 초소형 위성군으로, 전 지구를 매일 촬영할 수 있는 능력을 보유하고 있다(Valman et al., 2024). PlanetScope 위성은Dove-C, Dove-R, SuperDove로 구분되며, 이러한 구분은 위성에 탑재된 센서 성능에 따라 결정된다. 각 위성 유형별 특징은 Table 1에 제시되어 있다. Table 2에서 제시한 바와 같이, 본 연구에서 사용한 자료는 산사태 발생 이후 시기에 촬영된 PlanetScope 위성 영상 17장으로, 총 17개 지역을 대상으로 한다. 사용된 위성은 Dove-C와 SuperDove로 구성되어 있다. 각 영상의 촬영 각도는 5도 미만이다.

Table 1 The specifications of PlanetScope satellites

CharacteristicDove-CDove-RSuperDove
Spectral BandsBlue: 455–515 nm
Green: 500–590 nm
Red: 590–670 nm
NIR: 780–860 nm
Blue: 464–517 nm
Green: 547–585 nm
Red: 650–682 nm
NIR: 846–888 nm
Coastal Blue: 431–452 nm
Blue: 465–515 nm
Green I: 513–549 nm
Green II: 547–583 nm
Yellow: 600–620 nm
Red: 650–680 nm
Red-Edge: 697–713 nm
NIR: 845–885 nm
Ground Sample Distance3.0–4.1 m3.0–4.1 m3.7–4.2 m


산사태 발생 이후 시기에 촬영된 PlanetScope 위성 영상을 활용하여 딥러닝 모델 학습을 위한 입력 데이터를 구축하였다. 본 연구에서 사용된 산사태 피해 지역 탐지용 입력 데이터는 분광 정보, 식생 정보, 지형 정보, 질감 정보를 밴드로 구성하였다(Table 3). 분광 정보는 PlanetScope 위성에서 제공하는 데이터를 활용하였으며, 식생 정보는 분광 정보를 기반으로 가공된 데이터이다. 특히, 산사태 피해 지역 탐지에 유용한 지수인 Normalized Difference Vegetation Index (NDVI)를 식생 정보로 사용하여 피해 지역의 특성을 반영하였다. 지형 정보는 산사태 피해 지역의 지형 특성을, 질감 정보는 피해 지역의 표면 특성을 반영하기 위해 활용하였다.

Table 3 Types of input data channel

Input DataComponentsValue RangeDescription
Spectral DataB, G, R, NIR,0–255It uses blue, green, red, and near-infrared (NIR) bands from PlanetScope imagery.
Vegetation DataNDVI0–255NDVI is calculated using the Red and NIR bands.
Topographic DataSLOPE, HEIGHT0–255Extracted from DEM generated using contour layers from a 1:5,000 topographic map
Texture DataGLCM0–255Homogeneity feature derived from the Red band using the GLCM method.


분광 정보로는 국내 산사태 발생 지역을 촬영한 PlanetScope 영상에서 추출한 Blue, Green, Red, NIR 밴드를 사용하였다. 식생 정보로는 NDVI를 추가하였다. 지형 정보는 국토지리정보원에서 제공하는 1:5,000 수치지형도의 등고선 레이어를 활용하여 제작한 디지털 표고 모델(Digital Elevation Model, DEM)에서 추출한 높이 정보와 경 사도 정보를 사용하였다. 질감 정보는 Red 밴드의 Gray-Level Co-OccurrenceMatrix (GLCM) 레이어를 활용하였다. 특히, Red 밴드는 나지를 판별할 수 있는 분광 정보를 제공하여 산사태 피해지 탐지에서 중요한 밴드로 사용되고 있다(Fayne et al., 2019). Red 밴드의 질감 정보는 산사태 피해 지역의 지표 특성을 판단하기 위한 보조 정보로 활용하기 위해 입력 정보로 선택되었다. 본 연구에서는 Red 밴드의 GLCM균질성(Homogeneity) 속성을 통해 산사태 피해 지역의 질감 정보를 반영하고자 하였다. Red 밴드의 GLCM균질성 질감 정보는 입력 영상의 픽셀 값이 공간적으로 얼마나 유사한지를 나타낸다. 이 정보를 활용하면 산사태 피해 지역에서 나타나는 질감 특성을 바탕으로, 산사태 피해 지역을 나지나 산림 지역과 구분할 수 있어 산사태 피해 지역을 보다 명확하게 식별하는 데 도움을 줄 수 있다.

딥러닝 모델 학습에 사용된 레이블 데이터는 PlanetScope 영상에서 나타난 산사태 피해 영역을 수작업으로 식별하여 구축하였다. 레이블 데이터에서 산사태 피해 영역은 값 1, 비피해 영역은 값 0으로 구분하였다. 딥러닝 모델 학습에 사용되는 최종 데이터의 밴드 값은 8비트 부호 없는 정수(unsigned integer)로 변환하였다. 변환된 데이터를 128 × 128 크기의 패치로 나누었으며, 본 연구에서는 총 738개의 패치를 제작하였다. Fig. 1은 딥러닝 모델 학습에 사용된 자료를 보여준다. PlanetScope 영상과 1:5,000 수치지형도 등고선 레이어를 활용하여 8개의 밴드로 구성된 입력 자료와 레이블 자료를 확인할 수 있다.

Fig. 1. Data used for training deep learning models.

2.2. 연구 방법

본 연구의 목적은 딥러닝 기반 산사태 피해지 탐지에서 모델 학습 데이터의 입력 정보 조합을 다양화함으로써 모델 성능을 향상시킬 수 있는지를 실험하고, 그 결과를 분석하는 데 있다. 연구 목적을 달성하기 위한 연구 과정은 Fig. 2에 제시되어 있다.

Fig. 2. Research process.

국내 산사태 피해지를 대상으로 PlanetScope 영상 17장을 확보하였다. 전처리 과정에서는 Blue, Green, Red, Near-Infrared 밴드 값을 0에서 255 범위로 정규화하였다. 확보한 17장의 영상 중 15장은 딥러닝 모델 훈련용으로 사용하고, 나머지 2장은 딥러닝 모델 테스트용으로 활용하였다. 딥러닝 모델 훈련을 위해 레이블 자료를 제작한 후, 128 × 128 크기의 패치 738 세트를 생성하였다. 모델 훈련에서 패치를 8:2로 나눠서 훈련을 진행하였다. 이후 연구는 자료 준비 단계, 훈련 단계, 테스트 단계로 구분하여 진행되었다. 자료 준비 단계에서는 본 연구에서 사용할 입력 자료를 분류하였다. 딥러닝 모델 훈련에 사용된 입력 자료는 총 8종류로 구성되었다. 8개의 밴드는 분광 정보, 식생 정보, 지형 정보, 질감 정보로 구분되었으며, 분광 정보를 기준으로 나머지 정보를 조합하여 다양한 입력 자료를 구축하였다.

입력 자료 구성은 분광 정보(S), 분광 정보-식생 정보(S-V), 분광 정보-지형 정보(S-T), 분광 정보-질감 정보(S-S), 분광 정보-식생 정보-지형 정보(S-V-T), 분광 정보-지형 정보-질감 정보(S-T-S), 분광 정보-식생 정보-지형 정보-질감 정보(S-V-T-S)의 8가지 유형으로 나누어졌다. 각 입력 자료의 구성은 약어로 표현되었으며, 이는 Table 4에 정리되어 있다.

Table 4 Types of input information combination

Input Information CombinationAcronym
Spectral InformationS
Spectral Information-Vegetation InformationS-V
Spectral Information-Topographic InformationS-T
Spectral Information-Surface Texture InformationS-S
Spectral Information-Vegetation Information-Topographic InformationS-V-T
Spectral information-Vegetation information-Surface texture informationS-V-S
Spectral Information-Topographic Information-Surface Texture InformationS-T-S
Spectral Information-Vegetation Information-Topographic Information-Surface Texture InformationS-V-T-S


훈련 단계에서는 산사태 피해지 탐지에 사용할 Swin Transformer 딥러닝 모델을 훈련하였다. Swin Transformer는 작은 크기의 패치에서 국지적인 self-attention 연산을 수행한 후, 이를 더 큰 패치로 결합한다. 패치 내부에서 국지적인 self-attention 연산을 수행하는 방식을 윈도우 멀티헤드 셀프 어텐션(Window Multi-Head Self-Attention, W-MSA)이라고 한다. 그러나 패치를 나누어 연산할 경우, 패치 경계 근처의 픽셀들에서는 self-attention 계산이 제대로 이루어지지 않을 수 있다. 이를 해결하기 위해 이동창 방식(ShiftedWindowing)이 적용되었다. 이동창 방식은 패치 크기의 절반만큼 창(window)을 이동시키며 self-attention 연산을 수행하여, 패치 경계 부근의 연산 능력이 저하되는 문제를 방지한다. 이동창 방식에서 이웃 패치들이 중첩된 상태로 수행되는 self-attention 연산은 ShiftedWindowMulti-Head Self-Attention (SW-MSA)이라고 한다. SwinTransformer의 구조는 Fig. 3에 제시되어 있다.

Fig. 3. Structure of Swin Transformer (Liu et al., 2021).

Swin Transformer 구조는 모두 네 단계로 구성되며, 2번째 단계부터 패치를 합쳐 나가면서 채널 수는 증가시키고, 해상도는 떨어뜨린다. 각 단계의 Swin Transformer 블록에서 학습을 진행한다. 초기 단계에서 원본 입력 이미지(RGB 이미지를 가정한 경우, 높이H, 너비W, 채널 수 3)를 작은 크기의 패치로 나눈다. 각 패치는H×W×3 차원을 가진다. 입력 패치를 Transformer 블록에 투입하기 위한 형태(예를 들어, H×W×3 차원 패치를 입력에 적합한 차원으로 변환)로 바꿔줘야 하는데, 이를 linear embedding 이라고 한다. Transformer 블록은 LayerNorm(LN)층, W-MSA층, SW-MSA층, multi-layer perceptron (MLP)으로 이루어져 있다. LN 층은 입력 패치를 정규화하는 역할을 한다. W-MSA층과 SW-MSA층에서는 self-attention 연산을 수행한다. MLP 충에서는 self-attention 연산 결과를 최종 분류(classification) 결과로 변환하는 역할을 수행한다.

Swin Transformer는 첫 번째 은닉 레이어 입력 채널 수 및 레이어 수와 같은 구성 파라미터에 따라 Swin-T, Swin-S, Swin-B, Swin-L 으로 구분된다. 본 연구에서는 Swin-T 모델을 적용하였다. Swin-T 모델은 첫 번째 단계 은닉층 채널 수를 96으로 하고 각 단계별 레이어 수를 2, 2, 6, 2로 설정한다. 첫 번째 은닉층의 채널 수는 패치를 linear embedding 과정을 거쳐 입력에 적합한 형태로 변환한 차원을 의미하며, 레이어 수는 각 단계에서 Swin Transformer 블록이 반복되는 횟수를 나타낸다.

Swin Transformer에 적용하는 하이퍼파라미터는 Table 5와 같다. 입력 채널 수는 입력 정보의 조합에 따라 다양하게 적용하였다. Swin Transformer 모델 훈련에는 K-폴드 교차 검증(K-fold cross validation) 방법을 적용하였다. 본 연구에서는 훈련용 데이터셋을 5개의 폴드로 나누어 실험을 진행하였다. 5개의 폴드 중 하나를 검증자료용 폴드로, 나머지를 훈련자료용 폴드로 사용하는 방식으로 5번의 조합을 생성하여 총 5회의 훈련을 수행하였다. 5회의 훈련 과정에서 가장 높은 성능을 보이는 모델을 각 입력 자료 조합별 최적의 모델로 선정한 후, 이 모델을 테스트 데이터에 적용하여 성능을 평가하였다. 모델 성능 평가 기준으로는 정확도(accuracy), 정밀도(precision), 재현율(recall), F1-score, mean Intersection over Union (mIoU)를 사용하였다. 특히, IoU는 각 클래스의 실제 영역과 예측 영역의 교집합 면적을 합집합 면적으로 나눈 비율로 계산된다. 산사태 탐지 영상과 레이블 영상을 비교하면, True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN)로 구성되는 혼동행렬을 작성할 수 있다. 혼동 행렬을 구성하는 각 셀 값을 이용하여 식(1–6)과 같이 정확도, 정밀도, 재현율, F-1 score, IoU, mIoU를 계산할 수 있다.

Table 5 Hyperparameters of the Swin Transformer adopted in the landslide detection model

HyperparameterValue
Patch size(128,128)
Input channels{8, 4, 5, 6, 5, 7, 6, 7}
Batch size4
Window size7
Activation functionGaussian Error Linear Unit (GERU)
OptimizerAdamW
Dropout ratio0.1
Learning rate0.0001
Loss functionCross-Entropy Loss


Accuracy=TP+TNTP+TN+FP+FN
Precison=TPTP+FP
Recall=TPTP+FN
F1score=2×Precison×RecallPrecison+Recall
IoU=TPTP+FP+FN
mIoU=1C CIoUc

모델 평가에서 산사태 피해 지역 IoU와 산사태 미피해 지역 IoU의 평균값을 산출하여 mIoU를 계산하였다. 모델 선택은 mIoU 값을 기준으로 이루어졌다.

3.1. 연구 결과

밴드 조합별 훈련 결과는 Table 6에 제시되어 있다. 분광 정보만을 사용하는 자료의 훈련 결과와 비교했을 때, mIoU 기준에서 성능이 향상된 것을 확인할 수 있다. 분광 정보에 다른 정보를 결합하면 분광 정보만을 사용한 경우보다 더 나은 성능을 보이지만, 성능 향상의 크기는 미미한 수준임을 확인할 수 있다. 이는 기존 일부 연구에서 제시된 바와 같이, 훈련에 사용하는 데이터와 딥러닝 모델에 따라 분광 정보에 다른 정보를 추가했을 때 성능 향상 여부와 성능 향상의 크기가 일관성을 보이지 않을 수 있음을 뒷받침하는 사례라고 할 수 있다.

Table 6 Model performance by input information combination

DatasetCategoryIoUAccuracyF-scorePrecisionRecall
SNon-landslide97.0799.2198.5197.8399.21
Landslide47.0854.7364.0277.1154.73
Mean72.0876.9781.2787.4776.97
S-VNon-landslide97.2699.3398.6197.9199.33
Landslide49.5456.3566.2680.4156.35
Mean73.4077.8482.4489.1677.84
S-TNon-landslide97.1899.698.5797.5699.6
Landslide48.2752.065.1187.0652.0
Mean72.7075.8081.8492.3175.80
S-SNon-landslide96.8399.4998.3997.3299.49
Landslide49.8654.1266.5486.3454.12
Mean73.3476.8182.4691.8376.81
S-V-TNon-landslide97.1399.5298.5597.5999.52
Landslide48.252.6865.0484.9952.68
Mean72.6776.1081.7991.2976.10
S-V-SNon-landslide97.699.5498.7998.0499.54
Landslide51.0256.1667.5684.7856.16
Mean74.3177.8583.1881.4177.85
S-T-SNon-landslide97.1799.598.5697.6499.5
Landslide48.953.5765.6884.8753.57
Mean73.0376.5482.1291.2576.54
S-V-T-SNon-landslide97.5999.798.7897.8899.7
Landslide49.1152.3165.8788.9452.31
Mean73.3576.0182.3393.4176.01


훈련된 8개의 모델을 테스트 자료에 적용하여 각기 다른 입력 자료 조합으로 훈련한 모델 특성을 비교하였다. 모델 훈련 과정에서 분광 정보만 활용한 모델과 분광 정보, 지형 정보, 질감 정보를 결합한 모델 간 성능 차이가 있음을 확인한 바 있다. 모델 특성 비교에서는 분광 정보만을 활용한 모델(S)과 분광정보와 다른 정보를 결합한 대표적인 모델 하나를 선택하여 서로 비교하였다. 본 연구에서서는 분광 정보, 식생 정보, 지형 정보, 질감 정보를 결합한 모델(S-V-T-S)을 선택하였다. 산사태 피해지 탐지를 위해 다양한 정보를 활용한 경우와 분광 정보만을 활용한 경우의 차이를 확인하기 위해, 분광 정보, 식생 정보, 지형 정보, 질감 정보를 포함한 모델을 선택하였다. 테스트 지역 특징은 다음과 같다(Fig. 4). 각 지역의 왼쪽 이미지는 RGB 이미지이고, 오른쪽 이미지는 레이블 이미지이다. GS 지역은 전남 곡성군 고성읍 신기리 일원이다. 2020년 7월 말에 산사태가 발생한 지역이다. GS 지역 특징은 산림 지역에서 산사태 피해지가 분포하고 있다. YC 지역은 경북 예천군 은풍면 금곡리 일원이다. 2023년 7월 중순에 산사태가 발생한 지역이고, 산림, 경작지, 기개발지 등이 혼재되어 있는 특징을 가진다.

Fig. 4. Test region. (a) Seonse-ri, Osan-myeon, Gokseong-gun, Jeonnam. (b) Geumgok-ri, Eunpoong-myeon, Yecheon-gun, Gyeongbuk.

훈련 모델을 테스트 자료에 적용하기 위해 테스트 지역을 대상으로 샘플링을 수행하였으며, 샘플링한 영역을 패치로 사용하였다. 선택한 패치를 모델에 입력하여 추론 결과를 생산하고, 해당 결과를 비교하였다(Fig. 5). 산림 지역이 넓게 분포하는 GS 지역의 GS-1 패치와 GS-2 패치는 S-V-T-S 조합에서 상대적으로 좋은 성능을 보인다. 이에 반해, 각 패치에 대응하는 S 조합에서는 상대적으로 낮은 성능을 보였다. 산림지역, 기개발지, 경자기가 혼재되어 있는 YC-01 패치에서는 모델 성능이 상대적으로 떨어지는 경향을 보인다. 그럼에도 SV-T-S 조합 모델을 적용하여 추정한 결과가 S 조합 모델로 적용한 결과보다는 우수한 성능을 보여주었다. mIoU 기준으로 최소 12.97% (GS-01)에서 최대 50.61% (GS-02)까지 향상되는 결과를 확인할 수 있었다.

Fig. 5. The figure illustrates a performance comparison between the S-V-T-S combination and the S combination, targeting the test region.

패치 단위에서는 S 조합이 S-V-T-S 조합 보다 우수한 성능을 보여주는 예외적인 경우도 확인되었다(Fig. 6). GS 영상에서 S 조합이 우수한 성능을 보여주는 패치는 GS-03이다. YC 지역에서는 좁은 영역 산사태 탐지에서 S 조합이 우수한 성능을 보여주고 있다. YC-02 패치의 경우 S 조합에서 좁은 영역 탐지가 가능하나 S-V-T-S 조합에서 탐지가 안되는 결과를 보여준다.

Fig. 6. The figure illustrates a performance comparison between the S combination and the S-V-T-S combination, targeting the test region.

3.2. 토의

산사태 피해지는 다른 토지 피복지와 비교했을 때 분광 특성이 뚜렷하지 않은 한계를 가지고 있다. 이러한 한계를 극복하고 위성 영상을 활용한 딥러닝 기반 산사태 피해지 탐지 성능을 향상시키기 위해, 위성 영상에서 제공되는 분광 정보에 추가적인 정보를 결합하는 연구가 지속적으로 이루어지고 있다. 특히, 일부 연구에서는 사용된 데이터와 딥러닝 모델에 따라 탐지 성능의 향상 정도가 다르게 나타나는 것으로 보고되고 있다. 예를 들어, Landslide4Sense라는 딥러닝 기반 산사태 탐지 성능 대회에서는 Sentinel-2 기반 영상 자료에 ALOS PALSAR에서 추출한 지형 정보를 결합한 벤치마크 데이터를 제공하였다. 이 대회에서 2등을 차지한 모델은 Swin Transformer를 적용하였으며, 해당 모델에서는 벤치마크 자료에 포함된 다양한 정보를 조합하여 성능을 테스트하였다. 테스트 결과, RGB 3개 채널만 사용할 때가 다양한 분광 정보와 지형 정보를 결합했을 때보다 더 우수한 성능을 보였다고 보고되었다. 반면, Deeplabv3 모델에서는 NGB 조합이 가장 우수한 성능을 보였으며, U-Net 모델에서는 분광 정보와 지형 정보를 모두 결합했을 때 성능이 더 향상되는 것으로 나타났다(Ghorbanzadeh et al., 2022b).

본 연구에서는 PlanetScope 위성과 Swin Transformer 딥러닝 모델을 활용하여 산사태 탐지에서 입력 정보 조합에 따른 성능 차이를 실험적으로 분석하였다. 실험 결과, 분광 정보만 사용하는 경우보다 분광 정보, 식생 정보, 지형 정보, 질감 정보를 결합하여 사용하는 경우 모델 성능이 향상되는 것을 확인하였으나, 그 향상 폭은 크지 않은 것으로 나타났다. 테스트 자료를 기반으로 평가한 결과, 입력 정보 조합에 따른 성능 차이는 패치별로 다르게 나타났다. 특히, 산림 지역이 넓게 분포한 지역에서는 분광 정보, 식생 정보, 지형 정보, 질감 정보를 결합한 패치가 분광 정보만 사용하는 패치보다 더 높은 예측 능력을 보였다. 산림지역, 경작지, 나지, 기개발지 등이 혼재된 지역에서는 모델의 탐지 능력이 상대적으로 낮아지는 경향이 있었다. 산사태 피해지는 나지와 구분되지 않는 경우가 많기 때문에 나지와 경작지, 나지 등이 혼재된 지역에서는 산사태 탐지가 상대적으로 어렵다. 그럼에도 불구하고, 다양한 정보를 결합한 경우 탐지 성능이 상대적으로 우수한 것으로 확인되었다. 본 연구는 제한된 데이터와 특정 모델을 사용하여 우리나라 산사태 지역을 대상으로 실험을 진행한 한계를 지닌다. 그럼에도 불구하고, 딥러닝 모델과 위성 영상을 활용한 산사태 탐지에서 입력 정보를 선택하는 과정에서 모델 성능을 검토해 봐야 한다는 시사점을 제시하였다는 점에서 연구의 의의가 있다.

본 연구는 딥러닝 모델과 위성 영상을 활용한 산사태 탐지에서 입력 자료의 조합이 모델 성능에 미치는 영향을 실험적으로 분석하였다. PlanetScope 위성과 Swin Transformer 모델을 활용하여 분광 정보, 식생 정보, 지형 정보, 질감 정보를 조합한 다양한 입력 데이터 구성을 바탕으로 실험을 수행한 결과, 입력 정보의 다양성이 모델 성능 향상에 기여할 수 있음을 것을 확인하였으나, 그 향상 폭은 크지 않은 것으로 나타났다. 특히, 산림 지역과 같이 특정 정보가 강조되는 환경에서는 다양한 입력 정보의 조합이 탐지 성능 향상에 유효함을 보여주었다.

반면, 산림, 경작지, 나지, 기개발지 등이 혼재된 지역에서는 모델의 탐지 성능이 상대적으로 감소하는 경향이 있었으며, 이는 입력 정보의 특성과 지역적 특성이 복합적으로 작용한 결과로 판단된다. 이와 같은 결과는 산사태 탐지 모델을 개발할 때 지역 특성에 따른 입력 정보 구성의 중요성을 시사한다. 본 연구는 제한된 데이터셋과 특정 모델을 사용하여 국내 산사태 피해 지역을 대상으로 연구를 수행한 한계를 가지지만, 입력 정보 구성의 다양성을 고려한 데이터셋 설계와 모델 개발의 중요성을 제시하였다는 점에서 의의가 있다. 향후 연구에서는 더 다양한 지역과 데이터셋을 활용한 실험을 통해 모델의 일반화 가능성을 높이고, 다른 위성 및 모델 조합의 성능을 평가하여 산사태 탐지의 실용성을 증대시킬 필요가 있다.

본 연구는 과학기술정보통신부의 “초소형위성 군집시스템의 활용지원시스템 및 활용기술개발(과제번호: 2021M1A3A4A11032019)”의 일환으로 수행되었으며, 한국항공우주연구원에서 본 과제 목적으로 제공한 자료를 사용하였습니다.

No potential conflict of interest relevant to this article was reported.

  1. Cheng, G., Wang, Z., Huang, C., Yang, Y., Hu, J., and Yan, X., et al, 2024. Advances in deep learning recognition of landslides based on remote sensing images. Remote Sensing, 16(10), 1787. https://doi.org/10.3390/rs16101787
  2. Fayne, J. V., Ahamed, A., Roberts-Pierel, J., Rumsey, A. C., and Kirschbaum, D., 2019. Automated satellite-based landslide identification product for Nepal. Earth Interactions, 23(3), 1-21. https://doi.org/10.1175/EI-D-17-0022.1
  3. Ghorbanzadeh, O., Blaschke, T., Gholamnia, K., Meena, S. R., Tiede, D., and Aryal, J., 2019. Evaluation of different machine learning methods and deep-learning convolutional neural networks for landslide detection. Remote Sensing, 11(2), 196. https://doi.org/10.3390/rs11020196
  4. Ghorbanzadeh, O., Crivellari, A., Ghamisi, P., Shahabi, H., and Blaschke, T., 2021. A comprehensive transferability evaluation of U-Net and ResU-Net for landslide detection from Sentinel-2 data (case study areas from Taiwan, China, and Japan). Scientific Reports, 11, 14629. https://doi.org/10.1038/s41598-021-94190-9
  5. Ghorbanzadeh, O., Xu, Y., Ghamisi, P., Kopp, M., and Kreil, D., 2022a. Landslide4Sense: Reference benchmark data and deep learning models for landslide detection. IEEE Transactions on Geoscience and Remote Sensing, 60, 1-17. https://doi.org/10.1109/tgrs.2022.3215209
  6. Ghorbanzadeh, O., Xu, Y., Zhao, H., Wang, J., Zhong, Y., and Zhao, D., et al, 2022b. The outcome of the 2022 Landslide4Sense competition: Advanced landslide detection from multisource satellite imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15, 9927-9942. https://doi.org/10.1109/JSTARS.2022.3220845
  7. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., and Zhang, Z., et al, 2021. Swin Transformer: Hierarchical vision transformer using shifted windows. arXiv preprint arXiv:2103.14030. https://doi.org/10.48550/arXiv.2103.14030
  8. Meena, S. R., Soares, L. P., Grohmann, C. H., Van Westen, C., Bhuyan, K., and Singh, R. P., et al, 2022. Landslide detection in the Himalayas using machine learning algorithms and U-Net. Landslides, 19, 1209-1229. https://doi.org/10.1007/s10346-022-01861-3
  9. Ren, Z., Ma, J., Liu, J., Deng, X., Zhang, G., and Guo, H., 2024. Enhancing deep learning-based landslide detection from open satellite imagery via multisource data fusion of spectral, textural, and topographical features: A case study of old landslide detection in the Three Gorges Reservoir Area (TGRA). Geocarto International, 39(1), 2421224. https://doi.org/10.1080/10106049.2024.2421224
  10. Valman, S. J., Boyd, D. S., Carbonneau, P. E., Johnson, M. F., and Dugdale, S. J., 2024. An AI approach to operationalise global daily PlanetScope satellite imagery for river water masking. Remote Sensing of Environment, 301, 113932. https://doi.org/10.1016/j.rse.2023.113932
  11. Wu, L., Liu, R., Ju, N., Zhang, A., Gou, J., and He, G., et al, 2024. Landslide mapping based on a hybrid CNN-transformer network and deep transfer learning using remote sensing images with topographic and spectral features. International Journal of Applied Earth Observation and Geoinformation, 126, 103612. https://doi.org/10.1016/j.jag.2023.103612
  12. Zhong, C., Liu, Y., Gao, P., Chen, W., Li, H., and Hou, Y., et al, 2020. Landslide mapping with remote sensing: Challenges and opportunities. International Journal of Remote Sensing, 41(4), 1555-1581. https://doi.org/10.1080/01431161.2019.1672904

Research Article

Korean J. Remote Sens. 2024; 40(6): 1067-1077

Published online December 31, 2024 https://doi.org/10.7780/kjrs.2024.40.6.1.16

Copyright © Korean Society of Remote Sensing.

Swin Transformer 모델과 PlanetScope 영상을 이용한 산사태 피해지 탐지: 입력 정보 조합에 따른 성능 평가

안재성1, 김예지2, 김현옥3, 김광진4, 이양원5*

1경일대학교 국토정보학부 교수
2한국항공우주연구원 위성활용부 연구원
3한국항공우주연구원 위성활용부 책임연구원
4나라스페이스테크놀로지 영상분석팀 연구원
5부경대학교 지구환경시스템과학부 공간정보시스템공학전공 교수

Received: November 23, 2024; Revised: December 3, 2024; Accepted: December 3, 2024

Landslide Detection Using Swin Transformer Model and PlanetScope Images: A Performance Comparison by the Input Data Combination

Jaesong Ahn1, Yeji Kim2, Hyunok Kim3, Kwangjin Kim4, Yangwon Lee5*

1Professor, Division of Land Information, Kyungil University, Gyeongsan, Republic of Korea
2Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
3Principal Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
4Researcher, Image Analysis Team, Nara Space Technology Inc., Seoul, Republic of Korea
5Professor, Major of Spatial Information Engineering, Division of Earth Environmental System Science, Pukyong National University, Busan, Republic of Korea

Correspondence to:Yangwon Lee
E-mail: modiconfig@pknu.ac.kr

Received: November 23, 2024; Revised: December 3, 2024; Accepted: December 3, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Landslide areas have the limitation of less distinct spectral characteristics compared to other land cover types. To address this, combining spectral information provided by satellite imagery with other types of information can improve the performance of deep learning-based landslide detection. This study analyzes the performance differences of a deep learning model when various combinations of spectral information, vegetation information, topographic information, and texture information are used. The model used in this study is the Swin Transformer, which is known for its high performance in landslide detection, along with PlanetScope satellite data that provides daily global observations. The experimental results showed that using only spectral information achieved a mean Intersection over Union (mIoU) accuracy of 72.08%, while combining spectral, vegetation, terrain, and texture information in various ways resulted in a maximum mIoU accuracy of 74.31%. Although this demonstrates an improvement in model performance, the difference was not substantial. When the model was applied to test datasets, performance differences were observed depending on regional characteristics. In regions with extensive forest coverage, datasets utilizing diverse types of information exhibited improved predictive capabilities compared to those using only spectral information. However, in regions where forests, croplands, bare land, and developed areas were intermixed, the model’s relative detection ability tended to decrease. Even in these cases, the combination of spectral, vegetation, topographic, and texture information resulted in relatively superior detection capabilities. This study highlights the importance of carefully selecting input information in landslide detection using deep learning models and satellite imagery, demonstrating how such choices significantly influence model performance.

Keywords: Landslide, PlaneScope, Swin Transformer, Deep learning

1. 서론

산사태 발생 후 피해 복구 계획을 수립하기 위해서는 산사태 피해지를 신속하고 정확하게 탐지하는 것이 중요하다. 산사태 피해지 탐지 방법으로는 현장 조사, 위성영상을 활용한 육안 판독, 위성영상을 활용한 자동 탐지 방법이 있다. 산사태는 급경사 사면에서 발생하는 경우가 많아 현장 조사가 어렵고, 항공 사진이나 위성 영상을 활용한 육안 판독은 상대적으로 시간이 많이 소요된다는 단점이 있다(Wu et al., 2024). 반면, 위성영상을 활용한 자동 탐지는 현장 접근이 어려운 지역에서도 신속하게 산사태 피해지를 탐지할 수 있어 주요 탐지 방법으로 활용되고 있다.

최근 위성영상을 활용한 자동 탐지 방법에 다양한 딥러닝 기반 모델이 적용되고 있다(Cheng et al., 2024). 산사태 피해 영역 탐지를 위해 영상 인식 분야에서 활용되는 다양한 의미론적 분할(semantic segmentation) 모델을 활용할 수 있다. 영상 인식 분야의 의미론적 분할 모델은 합성곱 신경망(ConvolutionalNeuralNetwork, CNN) 기반 모델에서 시작하여, 셀프 어텐션(self-attention) 메커니즘을 사용하는 Vision Transformer 기반 모델로 발전해왔다. 특히, 2021년 마이크로소프트에서 발표한 Swin Transformer는 기존의 CNN 기반 모델이나VisionTransformer보다 뛰어난 성능을 보여주었다(Liu et al., 2021).

Ghorbanzadeh et al. (2022a)은 FCN-8s, PSPNet, ContextNet, DeepLabv2, DeepLab-v3+, LinkNet, FRRN, SQNet, U-Net, ResU-Net을 산사태 탐지에 적용한 결과, U-Net과 ResU-Net이 다른 모델보다 우수한 성능을 보였다고 보고하였다. 최근 딥러닝 기반 영상 인식 분야에서는 Swin Transformer 모델이 의미론적 영상 분할에 널리 활용되고 있으며, 산사태 탐지에서도 단일 영상 데이터를 활용하여 탐지 성능을 향상시킨 사례가 있다(Ghorbanzadeh et al., 2022b). Swin Transformer 모델은 셀프 어텐션(self-attention) 메커니즘을 활용하여 입력 영상의 특정 채널에 반응하는 산사태 피해 지역의 특징에 선택적으로 집중할 수 있기 때문에 우수한 산사태 탐지 능력을 발휘할 수 있다.

산사태 피해지는 다른 토지 피복지에 비해 분광 특성이 명확하지 않은 경우가 많다(Zhong et al., 2020). 산사태 피해지가 나지와 구분되지 않거나 피해지에 나무와 풀이 섞여 있을 경우 분광 정보만으로 구분하기 어려운 한계가 있다. 이러한 문제를 해결하기 위해, 딥러닝 기반 산사태 피해지 탐지 성능을 향상시키기 위해 위성영상에서 제공하는 분광 정보와 다른 정보를 결합하는 연구가 진행되어 왔다(Ghorbanzadeh et al., 2019; Ghorbanzadeh et al., 2021; Meena et al., 2022; Ren et al., 2024). Ren et al. (2024)은 ENVINet5 기반 딥러닝 모델과 Sentinel-2A 위성영상을 활용한 산사태 탐지 연구에서 분광 정보, 지형 정보, 질감 정보를 결합했을 때 단순히 분광 정보만을 활용했을 때보다 성능이 향상된 결과를 확인하였다. Meena et al. (2022)은 히말라야 지역을 대상으로 RapidEye 위성영상을 활용해 U-Net 모델 기반 산사태 탐지 연구를 수행하며, 분광 정보와 지형 정보를 포함한 데이터셋을 비교했으나 정량적 성능 차이는 확인하지 못한 사례를 소개하였다. 이러한 연구들은 딥러닝 모델과 위성 영상을 활용한 산사태 탐지에서 딥러닝 모델과 데이터셋 구성에 따라 입력 정보를 신중히 선택할 필요가 있음을 시사한다.

본 연구는 산사태 탐지에서 높은 성능을 보인다고 알려진 Swin Transformer 딥러닝 모델과 전 세계를 일별로 관측할 수 있는 PlanetScope 위성을 활용하여 분광 정보, 식생 정보, 지형 정보, 질감 정보를 다양하게 조합했을 때 딥러닝 모델의 성능 차이를 분석하는 것을 목표로 한다. 특히, 본 연구는 우리나라 산사태 피해 지역에서 촬영된 위성 자료를 활용하며, 산사태 탐지 능력이 우수하다고 평가된 딥러닝 모델을 적용하여 입력 정보에 따른 성능 평가를 수행한다. 이를 통해 산사태 탐지를 위한 딥러닝 데이터 구축 및 모델 적용 과정에서 고 려해야 할 입력 정보 특성에 대한 실질적인 사례를 제시하는 데 의의를 둔다.

2. 연구 자료 및 방법

2.1. 연구 자료 및 연구 지역

본 연구에서 자료 수집 대상 지역은 2020년부터 2023년 사이에 국내에서 발생한 산사태 피해 지역이다. 산림청에서 제공한 2019년부터 2023년 사이의 산사태 발생 이력 자료를 참고하여 피해 면적이 5 ha 이상인 지역을 자료 수집 대상으로 선별하였다. 5 ha는 3미터 해상도를 기준으로 약 5,556픽셀의 영상이 커버할 수 있는 면적이다. 이후, 산사태 발생 후 PlanetScope 위성 영상을 확보할 수 있는 지역을 최종 대상 지역으로 선정하였다(Table 2).

Table 2 . Data for landslide detection.

No.RegionEvent DateAcquisition TimeSatellite Type
1Beolbang-ri, Yecheon-gun, Gyeongbuk2023.07.172023.07.22SuperDove
2Osan-myeon, Gokseong-gun, Jeonnam2020.08.072020.08.20Dove-C
3Sangsan Village, Sanchuk-myeon, Chungju2020.08.022020.08.24Dove-C
4Wolseong-ri, Buk-sang-myeon, Geochang-gun, Gyeongnam2020.8.112020.08.17Dove-C
5Seonse-ri, Osan-myeon, Gokseong-gun, Jeonnam Late July20202020.08.22Dove-C
6Singi-ri, Gokseong-eup, Gokseong-gun, Jeonnam Late July20202020.08.20Dove-C
7Samgeori, Mupung-myeon, Muju-gun, Jeonbuk Late July20202020.08.19Dove-C
8Un-ri, Danseong-myeon, Sancheong-gun, Gyeongnam Late July20202020.08.17Dove-C
9Yongdae-ri, Samseong-myeon, Eumseong-gun, Chungbuk Late July20202020.08.25Dove-C
10Jinpyeong-ri, Yecheon-gun, Gyeongbuk2023.7.42020.07.22SuperDove
11Wollim-ri, Geumsong-myeon, Jecheon-si2020.07.28–08.112020.08.23Dove-C
12Baedeok-ri, Jucheon-myeon, Namwon-s2020.07.28–08.112020.08.15Dove-C
13Eunsong-ri, Jucheon-myeon, Namwon-si2020.07.28–08.112020.08.15Dove-C
14Un-ri, Danseong-myeon, Sancheong-gun, Gyeongnam2020.07.28–08.112020.08.19Dove-C
15Hwangdun-ri, Sinlim-myeon, Wonju-si2020.07.28–08.112020.08.23Dove-C
16Geumgok-ri, Eunpoong-myeon, Yecheon-gun, Gyeongbuk2023.07.09–07.19.2023.08.14SuperDove
17Baekseok-ri, Hyoja-myeon, Yecheon-gun, Gyeongbuk2023.07.09–07.192023.08.14SuperDove


PlanetScope 위성은 Planet Labs에서 운영하는 200기 이상의 초소형 위성군으로, 전 지구를 매일 촬영할 수 있는 능력을 보유하고 있다(Valman et al., 2024). PlanetScope 위성은Dove-C, Dove-R, SuperDove로 구분되며, 이러한 구분은 위성에 탑재된 센서 성능에 따라 결정된다. 각 위성 유형별 특징은 Table 1에 제시되어 있다. Table 2에서 제시한 바와 같이, 본 연구에서 사용한 자료는 산사태 발생 이후 시기에 촬영된 PlanetScope 위성 영상 17장으로, 총 17개 지역을 대상으로 한다. 사용된 위성은 Dove-C와 SuperDove로 구성되어 있다. 각 영상의 촬영 각도는 5도 미만이다.

Table 1 . The specifications of PlanetScope satellites.

CharacteristicDove-CDove-RSuperDove
Spectral BandsBlue: 455–515 nm
Green: 500–590 nm
Red: 590–670 nm
NIR: 780–860 nm
Blue: 464–517 nm
Green: 547–585 nm
Red: 650–682 nm
NIR: 846–888 nm
Coastal Blue: 431–452 nm
Blue: 465–515 nm
Green I: 513–549 nm
Green II: 547–583 nm
Yellow: 600–620 nm
Red: 650–680 nm
Red-Edge: 697–713 nm
NIR: 845–885 nm
Ground Sample Distance3.0–4.1 m3.0–4.1 m3.7–4.2 m


산사태 발생 이후 시기에 촬영된 PlanetScope 위성 영상을 활용하여 딥러닝 모델 학습을 위한 입력 데이터를 구축하였다. 본 연구에서 사용된 산사태 피해 지역 탐지용 입력 데이터는 분광 정보, 식생 정보, 지형 정보, 질감 정보를 밴드로 구성하였다(Table 3). 분광 정보는 PlanetScope 위성에서 제공하는 데이터를 활용하였으며, 식생 정보는 분광 정보를 기반으로 가공된 데이터이다. 특히, 산사태 피해 지역 탐지에 유용한 지수인 Normalized Difference Vegetation Index (NDVI)를 식생 정보로 사용하여 피해 지역의 특성을 반영하였다. 지형 정보는 산사태 피해 지역의 지형 특성을, 질감 정보는 피해 지역의 표면 특성을 반영하기 위해 활용하였다.

Table 3 . Types of input data channel.

Input DataComponentsValue RangeDescription
Spectral DataB, G, R, NIR,0–255It uses blue, green, red, and near-infrared (NIR) bands from PlanetScope imagery.
Vegetation DataNDVI0–255NDVI is calculated using the Red and NIR bands.
Topographic DataSLOPE, HEIGHT0–255Extracted from DEM generated using contour layers from a 1:5,000 topographic map
Texture DataGLCM0–255Homogeneity feature derived from the Red band using the GLCM method.


분광 정보로는 국내 산사태 발생 지역을 촬영한 PlanetScope 영상에서 추출한 Blue, Green, Red, NIR 밴드를 사용하였다. 식생 정보로는 NDVI를 추가하였다. 지형 정보는 국토지리정보원에서 제공하는 1:5,000 수치지형도의 등고선 레이어를 활용하여 제작한 디지털 표고 모델(Digital Elevation Model, DEM)에서 추출한 높이 정보와 경 사도 정보를 사용하였다. 질감 정보는 Red 밴드의 Gray-Level Co-OccurrenceMatrix (GLCM) 레이어를 활용하였다. 특히, Red 밴드는 나지를 판별할 수 있는 분광 정보를 제공하여 산사태 피해지 탐지에서 중요한 밴드로 사용되고 있다(Fayne et al., 2019). Red 밴드의 질감 정보는 산사태 피해 지역의 지표 특성을 판단하기 위한 보조 정보로 활용하기 위해 입력 정보로 선택되었다. 본 연구에서는 Red 밴드의 GLCM균질성(Homogeneity) 속성을 통해 산사태 피해 지역의 질감 정보를 반영하고자 하였다. Red 밴드의 GLCM균질성 질감 정보는 입력 영상의 픽셀 값이 공간적으로 얼마나 유사한지를 나타낸다. 이 정보를 활용하면 산사태 피해 지역에서 나타나는 질감 특성을 바탕으로, 산사태 피해 지역을 나지나 산림 지역과 구분할 수 있어 산사태 피해 지역을 보다 명확하게 식별하는 데 도움을 줄 수 있다.

딥러닝 모델 학습에 사용된 레이블 데이터는 PlanetScope 영상에서 나타난 산사태 피해 영역을 수작업으로 식별하여 구축하였다. 레이블 데이터에서 산사태 피해 영역은 값 1, 비피해 영역은 값 0으로 구분하였다. 딥러닝 모델 학습에 사용되는 최종 데이터의 밴드 값은 8비트 부호 없는 정수(unsigned integer)로 변환하였다. 변환된 데이터를 128 × 128 크기의 패치로 나누었으며, 본 연구에서는 총 738개의 패치를 제작하였다. Fig. 1은 딥러닝 모델 학습에 사용된 자료를 보여준다. PlanetScope 영상과 1:5,000 수치지형도 등고선 레이어를 활용하여 8개의 밴드로 구성된 입력 자료와 레이블 자료를 확인할 수 있다.

Figure 1. Data used for training deep learning models.

2.2. 연구 방법

본 연구의 목적은 딥러닝 기반 산사태 피해지 탐지에서 모델 학습 데이터의 입력 정보 조합을 다양화함으로써 모델 성능을 향상시킬 수 있는지를 실험하고, 그 결과를 분석하는 데 있다. 연구 목적을 달성하기 위한 연구 과정은 Fig. 2에 제시되어 있다.

Figure 2. Research process.

국내 산사태 피해지를 대상으로 PlanetScope 영상 17장을 확보하였다. 전처리 과정에서는 Blue, Green, Red, Near-Infrared 밴드 값을 0에서 255 범위로 정규화하였다. 확보한 17장의 영상 중 15장은 딥러닝 모델 훈련용으로 사용하고, 나머지 2장은 딥러닝 모델 테스트용으로 활용하였다. 딥러닝 모델 훈련을 위해 레이블 자료를 제작한 후, 128 × 128 크기의 패치 738 세트를 생성하였다. 모델 훈련에서 패치를 8:2로 나눠서 훈련을 진행하였다. 이후 연구는 자료 준비 단계, 훈련 단계, 테스트 단계로 구분하여 진행되었다. 자료 준비 단계에서는 본 연구에서 사용할 입력 자료를 분류하였다. 딥러닝 모델 훈련에 사용된 입력 자료는 총 8종류로 구성되었다. 8개의 밴드는 분광 정보, 식생 정보, 지형 정보, 질감 정보로 구분되었으며, 분광 정보를 기준으로 나머지 정보를 조합하여 다양한 입력 자료를 구축하였다.

입력 자료 구성은 분광 정보(S), 분광 정보-식생 정보(S-V), 분광 정보-지형 정보(S-T), 분광 정보-질감 정보(S-S), 분광 정보-식생 정보-지형 정보(S-V-T), 분광 정보-지형 정보-질감 정보(S-T-S), 분광 정보-식생 정보-지형 정보-질감 정보(S-V-T-S)의 8가지 유형으로 나누어졌다. 각 입력 자료의 구성은 약어로 표현되었으며, 이는 Table 4에 정리되어 있다.

Table 4 . Types of input information combination.

Input Information CombinationAcronym
Spectral InformationS
Spectral Information-Vegetation InformationS-V
Spectral Information-Topographic InformationS-T
Spectral Information-Surface Texture InformationS-S
Spectral Information-Vegetation Information-Topographic InformationS-V-T
Spectral information-Vegetation information-Surface texture informationS-V-S
Spectral Information-Topographic Information-Surface Texture InformationS-T-S
Spectral Information-Vegetation Information-Topographic Information-Surface Texture InformationS-V-T-S


훈련 단계에서는 산사태 피해지 탐지에 사용할 Swin Transformer 딥러닝 모델을 훈련하였다. Swin Transformer는 작은 크기의 패치에서 국지적인 self-attention 연산을 수행한 후, 이를 더 큰 패치로 결합한다. 패치 내부에서 국지적인 self-attention 연산을 수행하는 방식을 윈도우 멀티헤드 셀프 어텐션(Window Multi-Head Self-Attention, W-MSA)이라고 한다. 그러나 패치를 나누어 연산할 경우, 패치 경계 근처의 픽셀들에서는 self-attention 계산이 제대로 이루어지지 않을 수 있다. 이를 해결하기 위해 이동창 방식(ShiftedWindowing)이 적용되었다. 이동창 방식은 패치 크기의 절반만큼 창(window)을 이동시키며 self-attention 연산을 수행하여, 패치 경계 부근의 연산 능력이 저하되는 문제를 방지한다. 이동창 방식에서 이웃 패치들이 중첩된 상태로 수행되는 self-attention 연산은 ShiftedWindowMulti-Head Self-Attention (SW-MSA)이라고 한다. SwinTransformer의 구조는 Fig. 3에 제시되어 있다.

Figure 3. Structure of Swin Transformer (Liu et al., 2021).

Swin Transformer 구조는 모두 네 단계로 구성되며, 2번째 단계부터 패치를 합쳐 나가면서 채널 수는 증가시키고, 해상도는 떨어뜨린다. 각 단계의 Swin Transformer 블록에서 학습을 진행한다. 초기 단계에서 원본 입력 이미지(RGB 이미지를 가정한 경우, 높이H, 너비W, 채널 수 3)를 작은 크기의 패치로 나눈다. 각 패치는H×W×3 차원을 가진다. 입력 패치를 Transformer 블록에 투입하기 위한 형태(예를 들어, H×W×3 차원 패치를 입력에 적합한 차원으로 변환)로 바꿔줘야 하는데, 이를 linear embedding 이라고 한다. Transformer 블록은 LayerNorm(LN)층, W-MSA층, SW-MSA층, multi-layer perceptron (MLP)으로 이루어져 있다. LN 층은 입력 패치를 정규화하는 역할을 한다. W-MSA층과 SW-MSA층에서는 self-attention 연산을 수행한다. MLP 충에서는 self-attention 연산 결과를 최종 분류(classification) 결과로 변환하는 역할을 수행한다.

Swin Transformer는 첫 번째 은닉 레이어 입력 채널 수 및 레이어 수와 같은 구성 파라미터에 따라 Swin-T, Swin-S, Swin-B, Swin-L 으로 구분된다. 본 연구에서는 Swin-T 모델을 적용하였다. Swin-T 모델은 첫 번째 단계 은닉층 채널 수를 96으로 하고 각 단계별 레이어 수를 2, 2, 6, 2로 설정한다. 첫 번째 은닉층의 채널 수는 패치를 linear embedding 과정을 거쳐 입력에 적합한 형태로 변환한 차원을 의미하며, 레이어 수는 각 단계에서 Swin Transformer 블록이 반복되는 횟수를 나타낸다.

Swin Transformer에 적용하는 하이퍼파라미터는 Table 5와 같다. 입력 채널 수는 입력 정보의 조합에 따라 다양하게 적용하였다. Swin Transformer 모델 훈련에는 K-폴드 교차 검증(K-fold cross validation) 방법을 적용하였다. 본 연구에서는 훈련용 데이터셋을 5개의 폴드로 나누어 실험을 진행하였다. 5개의 폴드 중 하나를 검증자료용 폴드로, 나머지를 훈련자료용 폴드로 사용하는 방식으로 5번의 조합을 생성하여 총 5회의 훈련을 수행하였다. 5회의 훈련 과정에서 가장 높은 성능을 보이는 모델을 각 입력 자료 조합별 최적의 모델로 선정한 후, 이 모델을 테스트 데이터에 적용하여 성능을 평가하였다. 모델 성능 평가 기준으로는 정확도(accuracy), 정밀도(precision), 재현율(recall), F1-score, mean Intersection over Union (mIoU)를 사용하였다. 특히, IoU는 각 클래스의 실제 영역과 예측 영역의 교집합 면적을 합집합 면적으로 나눈 비율로 계산된다. 산사태 탐지 영상과 레이블 영상을 비교하면, True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN)로 구성되는 혼동행렬을 작성할 수 있다. 혼동 행렬을 구성하는 각 셀 값을 이용하여 식(1–6)과 같이 정확도, 정밀도, 재현율, F-1 score, IoU, mIoU를 계산할 수 있다.

Table 5 . Hyperparameters of the Swin Transformer adopted in the landslide detection model.

HyperparameterValue
Patch size(128,128)
Input channels{8, 4, 5, 6, 5, 7, 6, 7}
Batch size4
Window size7
Activation functionGaussian Error Linear Unit (GERU)
OptimizerAdamW
Dropout ratio0.1
Learning rate0.0001
Loss functionCross-Entropy Loss


Accuracy=TP+TNTP+TN+FP+FN
Precison=TPTP+FP
Recall=TPTP+FN
F1score=2×Precison×RecallPrecison+Recall
IoU=TPTP+FP+FN
mIoU=1C CIoUc

모델 평가에서 산사태 피해 지역 IoU와 산사태 미피해 지역 IoU의 평균값을 산출하여 mIoU를 계산하였다. 모델 선택은 mIoU 값을 기준으로 이루어졌다.

3. 연구 결과 및 토의

3.1. 연구 결과

밴드 조합별 훈련 결과는 Table 6에 제시되어 있다. 분광 정보만을 사용하는 자료의 훈련 결과와 비교했을 때, mIoU 기준에서 성능이 향상된 것을 확인할 수 있다. 분광 정보에 다른 정보를 결합하면 분광 정보만을 사용한 경우보다 더 나은 성능을 보이지만, 성능 향상의 크기는 미미한 수준임을 확인할 수 있다. 이는 기존 일부 연구에서 제시된 바와 같이, 훈련에 사용하는 데이터와 딥러닝 모델에 따라 분광 정보에 다른 정보를 추가했을 때 성능 향상 여부와 성능 향상의 크기가 일관성을 보이지 않을 수 있음을 뒷받침하는 사례라고 할 수 있다.

Table 6 . Model performance by input information combination.

DatasetCategoryIoUAccuracyF-scorePrecisionRecall
SNon-landslide97.0799.2198.5197.8399.21
Landslide47.0854.7364.0277.1154.73
Mean72.0876.9781.2787.4776.97
S-VNon-landslide97.2699.3398.6197.9199.33
Landslide49.5456.3566.2680.4156.35
Mean73.4077.8482.4489.1677.84
S-TNon-landslide97.1899.698.5797.5699.6
Landslide48.2752.065.1187.0652.0
Mean72.7075.8081.8492.3175.80
S-SNon-landslide96.8399.4998.3997.3299.49
Landslide49.8654.1266.5486.3454.12
Mean73.3476.8182.4691.8376.81
S-V-TNon-landslide97.1399.5298.5597.5999.52
Landslide48.252.6865.0484.9952.68
Mean72.6776.1081.7991.2976.10
S-V-SNon-landslide97.699.5498.7998.0499.54
Landslide51.0256.1667.5684.7856.16
Mean74.3177.8583.1881.4177.85
S-T-SNon-landslide97.1799.598.5697.6499.5
Landslide48.953.5765.6884.8753.57
Mean73.0376.5482.1291.2576.54
S-V-T-SNon-landslide97.5999.798.7897.8899.7
Landslide49.1152.3165.8788.9452.31
Mean73.3576.0182.3393.4176.01


훈련된 8개의 모델을 테스트 자료에 적용하여 각기 다른 입력 자료 조합으로 훈련한 모델 특성을 비교하였다. 모델 훈련 과정에서 분광 정보만 활용한 모델과 분광 정보, 지형 정보, 질감 정보를 결합한 모델 간 성능 차이가 있음을 확인한 바 있다. 모델 특성 비교에서는 분광 정보만을 활용한 모델(S)과 분광정보와 다른 정보를 결합한 대표적인 모델 하나를 선택하여 서로 비교하였다. 본 연구에서서는 분광 정보, 식생 정보, 지형 정보, 질감 정보를 결합한 모델(S-V-T-S)을 선택하였다. 산사태 피해지 탐지를 위해 다양한 정보를 활용한 경우와 분광 정보만을 활용한 경우의 차이를 확인하기 위해, 분광 정보, 식생 정보, 지형 정보, 질감 정보를 포함한 모델을 선택하였다. 테스트 지역 특징은 다음과 같다(Fig. 4). 각 지역의 왼쪽 이미지는 RGB 이미지이고, 오른쪽 이미지는 레이블 이미지이다. GS 지역은 전남 곡성군 고성읍 신기리 일원이다. 2020년 7월 말에 산사태가 발생한 지역이다. GS 지역 특징은 산림 지역에서 산사태 피해지가 분포하고 있다. YC 지역은 경북 예천군 은풍면 금곡리 일원이다. 2023년 7월 중순에 산사태가 발생한 지역이고, 산림, 경작지, 기개발지 등이 혼재되어 있는 특징을 가진다.

Figure 4. Test region. (a) Seonse-ri, Osan-myeon, Gokseong-gun, Jeonnam. (b) Geumgok-ri, Eunpoong-myeon, Yecheon-gun, Gyeongbuk.

훈련 모델을 테스트 자료에 적용하기 위해 테스트 지역을 대상으로 샘플링을 수행하였으며, 샘플링한 영역을 패치로 사용하였다. 선택한 패치를 모델에 입력하여 추론 결과를 생산하고, 해당 결과를 비교하였다(Fig. 5). 산림 지역이 넓게 분포하는 GS 지역의 GS-1 패치와 GS-2 패치는 S-V-T-S 조합에서 상대적으로 좋은 성능을 보인다. 이에 반해, 각 패치에 대응하는 S 조합에서는 상대적으로 낮은 성능을 보였다. 산림지역, 기개발지, 경자기가 혼재되어 있는 YC-01 패치에서는 모델 성능이 상대적으로 떨어지는 경향을 보인다. 그럼에도 SV-T-S 조합 모델을 적용하여 추정한 결과가 S 조합 모델로 적용한 결과보다는 우수한 성능을 보여주었다. mIoU 기준으로 최소 12.97% (GS-01)에서 최대 50.61% (GS-02)까지 향상되는 결과를 확인할 수 있었다.

Figure 5. The figure illustrates a performance comparison between the S-V-T-S combination and the S combination, targeting the test region.

패치 단위에서는 S 조합이 S-V-T-S 조합 보다 우수한 성능을 보여주는 예외적인 경우도 확인되었다(Fig. 6). GS 영상에서 S 조합이 우수한 성능을 보여주는 패치는 GS-03이다. YC 지역에서는 좁은 영역 산사태 탐지에서 S 조합이 우수한 성능을 보여주고 있다. YC-02 패치의 경우 S 조합에서 좁은 영역 탐지가 가능하나 S-V-T-S 조합에서 탐지가 안되는 결과를 보여준다.

Figure 6. The figure illustrates a performance comparison between the S combination and the S-V-T-S combination, targeting the test region.

3.2. 토의

산사태 피해지는 다른 토지 피복지와 비교했을 때 분광 특성이 뚜렷하지 않은 한계를 가지고 있다. 이러한 한계를 극복하고 위성 영상을 활용한 딥러닝 기반 산사태 피해지 탐지 성능을 향상시키기 위해, 위성 영상에서 제공되는 분광 정보에 추가적인 정보를 결합하는 연구가 지속적으로 이루어지고 있다. 특히, 일부 연구에서는 사용된 데이터와 딥러닝 모델에 따라 탐지 성능의 향상 정도가 다르게 나타나는 것으로 보고되고 있다. 예를 들어, Landslide4Sense라는 딥러닝 기반 산사태 탐지 성능 대회에서는 Sentinel-2 기반 영상 자료에 ALOS PALSAR에서 추출한 지형 정보를 결합한 벤치마크 데이터를 제공하였다. 이 대회에서 2등을 차지한 모델은 Swin Transformer를 적용하였으며, 해당 모델에서는 벤치마크 자료에 포함된 다양한 정보를 조합하여 성능을 테스트하였다. 테스트 결과, RGB 3개 채널만 사용할 때가 다양한 분광 정보와 지형 정보를 결합했을 때보다 더 우수한 성능을 보였다고 보고되었다. 반면, Deeplabv3 모델에서는 NGB 조합이 가장 우수한 성능을 보였으며, U-Net 모델에서는 분광 정보와 지형 정보를 모두 결합했을 때 성능이 더 향상되는 것으로 나타났다(Ghorbanzadeh et al., 2022b).

본 연구에서는 PlanetScope 위성과 Swin Transformer 딥러닝 모델을 활용하여 산사태 탐지에서 입력 정보 조합에 따른 성능 차이를 실험적으로 분석하였다. 실험 결과, 분광 정보만 사용하는 경우보다 분광 정보, 식생 정보, 지형 정보, 질감 정보를 결합하여 사용하는 경우 모델 성능이 향상되는 것을 확인하였으나, 그 향상 폭은 크지 않은 것으로 나타났다. 테스트 자료를 기반으로 평가한 결과, 입력 정보 조합에 따른 성능 차이는 패치별로 다르게 나타났다. 특히, 산림 지역이 넓게 분포한 지역에서는 분광 정보, 식생 정보, 지형 정보, 질감 정보를 결합한 패치가 분광 정보만 사용하는 패치보다 더 높은 예측 능력을 보였다. 산림지역, 경작지, 나지, 기개발지 등이 혼재된 지역에서는 모델의 탐지 능력이 상대적으로 낮아지는 경향이 있었다. 산사태 피해지는 나지와 구분되지 않는 경우가 많기 때문에 나지와 경작지, 나지 등이 혼재된 지역에서는 산사태 탐지가 상대적으로 어렵다. 그럼에도 불구하고, 다양한 정보를 결합한 경우 탐지 성능이 상대적으로 우수한 것으로 확인되었다. 본 연구는 제한된 데이터와 특정 모델을 사용하여 우리나라 산사태 지역을 대상으로 실험을 진행한 한계를 지닌다. 그럼에도 불구하고, 딥러닝 모델과 위성 영상을 활용한 산사태 탐지에서 입력 정보를 선택하는 과정에서 모델 성능을 검토해 봐야 한다는 시사점을 제시하였다는 점에서 연구의 의의가 있다.

4. 결론

본 연구는 딥러닝 모델과 위성 영상을 활용한 산사태 탐지에서 입력 자료의 조합이 모델 성능에 미치는 영향을 실험적으로 분석하였다. PlanetScope 위성과 Swin Transformer 모델을 활용하여 분광 정보, 식생 정보, 지형 정보, 질감 정보를 조합한 다양한 입력 데이터 구성을 바탕으로 실험을 수행한 결과, 입력 정보의 다양성이 모델 성능 향상에 기여할 수 있음을 것을 확인하였으나, 그 향상 폭은 크지 않은 것으로 나타났다. 특히, 산림 지역과 같이 특정 정보가 강조되는 환경에서는 다양한 입력 정보의 조합이 탐지 성능 향상에 유효함을 보여주었다.

반면, 산림, 경작지, 나지, 기개발지 등이 혼재된 지역에서는 모델의 탐지 성능이 상대적으로 감소하는 경향이 있었으며, 이는 입력 정보의 특성과 지역적 특성이 복합적으로 작용한 결과로 판단된다. 이와 같은 결과는 산사태 탐지 모델을 개발할 때 지역 특성에 따른 입력 정보 구성의 중요성을 시사한다. 본 연구는 제한된 데이터셋과 특정 모델을 사용하여 국내 산사태 피해 지역을 대상으로 연구를 수행한 한계를 가지지만, 입력 정보 구성의 다양성을 고려한 데이터셋 설계와 모델 개발의 중요성을 제시하였다는 점에서 의의가 있다. 향후 연구에서는 더 다양한 지역과 데이터셋을 활용한 실험을 통해 모델의 일반화 가능성을 높이고, 다른 위성 및 모델 조합의 성능을 평가하여 산사태 탐지의 실용성을 증대시킬 필요가 있다.

사사

본 연구는 과학기술정보통신부의 “초소형위성 군집시스템의 활용지원시스템 및 활용기술개발(과제번호: 2021M1A3A4A11032019)”의 일환으로 수행되었으며, 한국항공우주연구원에서 본 과제 목적으로 제공한 자료를 사용하였습니다.

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

Fig 1.

Figure 1.Data used for training deep learning models.
Korean Journal of Remote Sensing 2024; 40: 1067-1077https://doi.org/10.7780/kjrs.2024.40.6.1.16

Fig 2.

Figure 2.Research process.
Korean Journal of Remote Sensing 2024; 40: 1067-1077https://doi.org/10.7780/kjrs.2024.40.6.1.16

Fig 3.

Figure 3.Structure of Swin Transformer (Liu et al., 2021).
Korean Journal of Remote Sensing 2024; 40: 1067-1077https://doi.org/10.7780/kjrs.2024.40.6.1.16

Fig 4.

Figure 4.Test region. (a) Seonse-ri, Osan-myeon, Gokseong-gun, Jeonnam. (b) Geumgok-ri, Eunpoong-myeon, Yecheon-gun, Gyeongbuk.
Korean Journal of Remote Sensing 2024; 40: 1067-1077https://doi.org/10.7780/kjrs.2024.40.6.1.16

Fig 5.

Figure 5.The figure illustrates a performance comparison between the S-V-T-S combination and the S combination, targeting the test region.
Korean Journal of Remote Sensing 2024; 40: 1067-1077https://doi.org/10.7780/kjrs.2024.40.6.1.16

Fig 6.

Figure 6.The figure illustrates a performance comparison between the S combination and the S-V-T-S combination, targeting the test region.
Korean Journal of Remote Sensing 2024; 40: 1067-1077https://doi.org/10.7780/kjrs.2024.40.6.1.16

Table 1 . The specifications of PlanetScope satellites.

CharacteristicDove-CDove-RSuperDove
Spectral BandsBlue: 455–515 nm
Green: 500–590 nm
Red: 590–670 nm
NIR: 780–860 nm
Blue: 464–517 nm
Green: 547–585 nm
Red: 650–682 nm
NIR: 846–888 nm
Coastal Blue: 431–452 nm
Blue: 465–515 nm
Green I: 513–549 nm
Green II: 547–583 nm
Yellow: 600–620 nm
Red: 650–680 nm
Red-Edge: 697–713 nm
NIR: 845–885 nm
Ground Sample Distance3.0–4.1 m3.0–4.1 m3.7–4.2 m

Table 2 . Data for landslide detection.

No.RegionEvent DateAcquisition TimeSatellite Type
1Beolbang-ri, Yecheon-gun, Gyeongbuk2023.07.172023.07.22SuperDove
2Osan-myeon, Gokseong-gun, Jeonnam2020.08.072020.08.20Dove-C
3Sangsan Village, Sanchuk-myeon, Chungju2020.08.022020.08.24Dove-C
4Wolseong-ri, Buk-sang-myeon, Geochang-gun, Gyeongnam2020.8.112020.08.17Dove-C
5Seonse-ri, Osan-myeon, Gokseong-gun, Jeonnam Late July20202020.08.22Dove-C
6Singi-ri, Gokseong-eup, Gokseong-gun, Jeonnam Late July20202020.08.20Dove-C
7Samgeori, Mupung-myeon, Muju-gun, Jeonbuk Late July20202020.08.19Dove-C
8Un-ri, Danseong-myeon, Sancheong-gun, Gyeongnam Late July20202020.08.17Dove-C
9Yongdae-ri, Samseong-myeon, Eumseong-gun, Chungbuk Late July20202020.08.25Dove-C
10Jinpyeong-ri, Yecheon-gun, Gyeongbuk2023.7.42020.07.22SuperDove
11Wollim-ri, Geumsong-myeon, Jecheon-si2020.07.28–08.112020.08.23Dove-C
12Baedeok-ri, Jucheon-myeon, Namwon-s2020.07.28–08.112020.08.15Dove-C
13Eunsong-ri, Jucheon-myeon, Namwon-si2020.07.28–08.112020.08.15Dove-C
14Un-ri, Danseong-myeon, Sancheong-gun, Gyeongnam2020.07.28–08.112020.08.19Dove-C
15Hwangdun-ri, Sinlim-myeon, Wonju-si2020.07.28–08.112020.08.23Dove-C
16Geumgok-ri, Eunpoong-myeon, Yecheon-gun, Gyeongbuk2023.07.09–07.19.2023.08.14SuperDove
17Baekseok-ri, Hyoja-myeon, Yecheon-gun, Gyeongbuk2023.07.09–07.192023.08.14SuperDove

Table 3 . Types of input data channel.

Input DataComponentsValue RangeDescription
Spectral DataB, G, R, NIR,0–255It uses blue, green, red, and near-infrared (NIR) bands from PlanetScope imagery.
Vegetation DataNDVI0–255NDVI is calculated using the Red and NIR bands.
Topographic DataSLOPE, HEIGHT0–255Extracted from DEM generated using contour layers from a 1:5,000 topographic map
Texture DataGLCM0–255Homogeneity feature derived from the Red band using the GLCM method.

Table 4 . Types of input information combination.

Input Information CombinationAcronym
Spectral InformationS
Spectral Information-Vegetation InformationS-V
Spectral Information-Topographic InformationS-T
Spectral Information-Surface Texture InformationS-S
Spectral Information-Vegetation Information-Topographic InformationS-V-T
Spectral information-Vegetation information-Surface texture informationS-V-S
Spectral Information-Topographic Information-Surface Texture InformationS-T-S
Spectral Information-Vegetation Information-Topographic Information-Surface Texture InformationS-V-T-S

Table 5 . Hyperparameters of the Swin Transformer adopted in the landslide detection model.

HyperparameterValue
Patch size(128,128)
Input channels{8, 4, 5, 6, 5, 7, 6, 7}
Batch size4
Window size7
Activation functionGaussian Error Linear Unit (GERU)
OptimizerAdamW
Dropout ratio0.1
Learning rate0.0001
Loss functionCross-Entropy Loss

Table 6 . Model performance by input information combination.

DatasetCategoryIoUAccuracyF-scorePrecisionRecall
SNon-landslide97.0799.2198.5197.8399.21
Landslide47.0854.7364.0277.1154.73
Mean72.0876.9781.2787.4776.97
S-VNon-landslide97.2699.3398.6197.9199.33
Landslide49.5456.3566.2680.4156.35
Mean73.4077.8482.4489.1677.84
S-TNon-landslide97.1899.698.5797.5699.6
Landslide48.2752.065.1187.0652.0
Mean72.7075.8081.8492.3175.80
S-SNon-landslide96.8399.4998.3997.3299.49
Landslide49.8654.1266.5486.3454.12
Mean73.3476.8182.4691.8376.81
S-V-TNon-landslide97.1399.5298.5597.5999.52
Landslide48.252.6865.0484.9952.68
Mean72.6776.1081.7991.2976.10
S-V-SNon-landslide97.699.5498.7998.0499.54
Landslide51.0256.1667.5684.7856.16
Mean74.3177.8583.1881.4177.85
S-T-SNon-landslide97.1799.598.5697.6499.5
Landslide48.953.5765.6884.8753.57
Mean73.0376.5482.1291.2576.54
S-V-T-SNon-landslide97.5999.798.7897.8899.7
Landslide49.1152.3165.8788.9452.31
Mean73.3576.0182.3393.4176.01

References

  1. Cheng, G., Wang, Z., Huang, C., Yang, Y., Hu, J., and Yan, X., et al, 2024. Advances in deep learning recognition of landslides based on remote sensing images. Remote Sensing, 16(10), 1787. https://doi.org/10.3390/rs16101787
  2. Fayne, J. V., Ahamed, A., Roberts-Pierel, J., Rumsey, A. C., and Kirschbaum, D., 2019. Automated satellite-based landslide identification product for Nepal. Earth Interactions, 23(3), 1-21. https://doi.org/10.1175/EI-D-17-0022.1
  3. Ghorbanzadeh, O., Blaschke, T., Gholamnia, K., Meena, S. R., Tiede, D., and Aryal, J., 2019. Evaluation of different machine learning methods and deep-learning convolutional neural networks for landslide detection. Remote Sensing, 11(2), 196. https://doi.org/10.3390/rs11020196
  4. Ghorbanzadeh, O., Crivellari, A., Ghamisi, P., Shahabi, H., and Blaschke, T., 2021. A comprehensive transferability evaluation of U-Net and ResU-Net for landslide detection from Sentinel-2 data (case study areas from Taiwan, China, and Japan). Scientific Reports, 11, 14629. https://doi.org/10.1038/s41598-021-94190-9
  5. Ghorbanzadeh, O., Xu, Y., Ghamisi, P., Kopp, M., and Kreil, D., 2022a. Landslide4Sense: Reference benchmark data and deep learning models for landslide detection. IEEE Transactions on Geoscience and Remote Sensing, 60, 1-17. https://doi.org/10.1109/tgrs.2022.3215209
  6. Ghorbanzadeh, O., Xu, Y., Zhao, H., Wang, J., Zhong, Y., and Zhao, D., et al, 2022b. The outcome of the 2022 Landslide4Sense competition: Advanced landslide detection from multisource satellite imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15, 9927-9942. https://doi.org/10.1109/JSTARS.2022.3220845
  7. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., and Zhang, Z., et al, 2021. Swin Transformer: Hierarchical vision transformer using shifted windows. arXiv preprint arXiv:2103.14030. https://doi.org/10.48550/arXiv.2103.14030
  8. Meena, S. R., Soares, L. P., Grohmann, C. H., Van Westen, C., Bhuyan, K., and Singh, R. P., et al, 2022. Landslide detection in the Himalayas using machine learning algorithms and U-Net. Landslides, 19, 1209-1229. https://doi.org/10.1007/s10346-022-01861-3
  9. Ren, Z., Ma, J., Liu, J., Deng, X., Zhang, G., and Guo, H., 2024. Enhancing deep learning-based landslide detection from open satellite imagery via multisource data fusion of spectral, textural, and topographical features: A case study of old landslide detection in the Three Gorges Reservoir Area (TGRA). Geocarto International, 39(1), 2421224. https://doi.org/10.1080/10106049.2024.2421224
  10. Valman, S. J., Boyd, D. S., Carbonneau, P. E., Johnson, M. F., and Dugdale, S. J., 2024. An AI approach to operationalise global daily PlanetScope satellite imagery for river water masking. Remote Sensing of Environment, 301, 113932. https://doi.org/10.1016/j.rse.2023.113932
  11. Wu, L., Liu, R., Ju, N., Zhang, A., Gou, J., and He, G., et al, 2024. Landslide mapping based on a hybrid CNN-transformer network and deep transfer learning using remote sensing images with topographic and spectral features. International Journal of Applied Earth Observation and Geoinformation, 126, 103612. https://doi.org/10.1016/j.jag.2023.103612
  12. Zhong, C., Liu, Y., Gao, P., Chen, W., Li, H., and Hou, Y., et al, 2020. Landslide mapping with remote sensing: Challenges and opportunities. International Journal of Remote Sensing, 41(4), 1555-1581. https://doi.org/10.1080/01431161.2019.1672904
KSRS
December 2024 Vol. 40, No.6, pp. 1005-989

Metrics

Share

  • line

Related Articles

Korean Journal of Remote Sensing