Research Article

Split Viewer

Korean J. Remote Sens. 2024; 40(6): 1409-1419

Published online: December 31, 2024

https://doi.org/10.7780/kjrs.2024.40.6.3.3

© Korean Society of Remote Sensing

딥러닝 기법을 사용한 고해상도 위성 영상 기반의 야적퇴비 탐지 방법론 제시

정성규1, 김병철2, 박선영3*, 정유진4, 이소영5

1서울과학기술대학교 인공지능응용학과 학부생
2서울과학기술대학교 인공지능응용학과 박사과정생
3서울과학기술대학교 인공지능응용학과 조교수
4국립환경과학원 물환경연구부 연구관
5국립환경과학원 물환경연구부 연구사

Received: November 1, 2024; Revised: November 21, 2024; Accepted: November 29, 2024

Satellite Image-Based Field Compost Detection Using Deep Learning

Sungkyu Jeong1 , Byeongcheol Kim2 , Seonyoung Park3* , Eugene Chung4, Soyoung Lee5

1Undergraduate Student, Department of Applied Artificial Intelligence, Seoul National University of Science and Technology, Seoul, Republic of Korea
2PhD Student, Department of Applied Artificial Intelligence, Seoul National University of Science and Technology, Seoul, Republic of Korea
3Assistant Professor, Department of Applied Artificial Intelligence, Seoul National University of Science and Technology, Seoul, Republic of Korea
4Senior Researcher, Water Environment Research Department, National Institute of Environmental Research, Incheon, Republic of Korea
5Researcher, Water Environment Research Department, National Institute of Environmental Research, Incheon, Republic of Korea

Correspondence to : Seonyoung Park
E-mail: sypark@seoultech.ac.kr

Received: November 1, 2024; Revised: November 21, 2024; Accepted: November 29, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

With the development of agriculture, the illegal management of field compost, a non-point source of pollution, has become a growing concern as a source of water and environmental pollution. However, detection of field compost through field surveys is difficult and costly. Therefore, following the recent increase in research on the detection and management of field compost, this study aims to detect field compost using high-resolution satellite imagery. We collected satellite image data in the blue, green, red, and near-infrared (NIR) bands over agricultural fields in Gyeongsangnam-do. We labeled unmanaged field compost and evaluated the performance of field compost detection using deep learning models. A total of four models for field compost detection were presented: semantic segmentation detection using U-Net, object segmentation detection using Mask Region-based Convolutional Neural Network (R-CNN), object detection using Faster R-CNN, and a hybrid model combining Faster R-CNN and U-Net for semantic segmentation detection. In the accuracy evaluation based on pixel accuracy and mean Intersection-over-Union (mIoU), the object-based model was more reliable than other models, and the combined model proposed in this paper showed the highest mIoU of 0.68. Based on these results, it is expected that the cost advantage of satellite imagery and the high reliability of field compost detection through unmanned aerial vehicles can be utilized to solve the current problems of field compost detection. In future studies, if the methodology and the quality of satellite images can be improved, accurate field compost detection will be possible.

Keywords Field-compost, Deep learning, KOMPSAT-3, Instance segmentation

야적퇴비는 야초나 짚, 낙엽 및 기타 동물의 분뇨를 퇴적·발효시킨 비료로 식물 성장에 필요한 질소와 인이 포함되어 있는 비료이다(Song and Park, 2021). 야적퇴비는 축산에서 발생되는 대표적인 비점오염원으로 적절하게 처리하지 않는 경우, 강우에 따라 지표수에 유입되어 지하수에 대한 오염이 발생하기도 한다(Sharpley and Moyer, 2000). 야적퇴비는 시간이 지날수록 악취를 발생하는 원인이 되어 인류의 건강에 해를 끼치는 위생학적인 문제를 유발시키기도 한다(Choi et al., 2012). 야적퇴비는 현재에도 관리 대책이 많지 않아 현장 조사를 통해 확인 및 관리되고 있다. 현장 조사 방법은 해당 지역의 환경을 관리하는 공무원이 직접 사진을 촬영하여 야적퇴비를 관리해야 하기 때문에 인적·경제적 비용이 커 관련 기술 연구가 꾸준히 수행되고 있다.

이를 바탕으로 현장 조사를 대체할 수 있는 야적퇴비 탐지 및 관리를 위해 무인항공기(unmanned aerial vehicle, UAV)를 통한 인공지능야적퇴비 탐지 연구를 제시하기 시작하였다(Park et al., 2020). Kim et al. (2021)의 연구에서는 UAV 영상과 U-Net을 활용하여 야적퇴지 탐지를 수행하였다. 예측 결과의 노이즈를 제거하기 위해 수학적 형태학(mathematicalmorphology) 후처리 연산을 수행하였다. 하지만 타일 형태의 분할 과정에서 가장자리의 작은 비율의 야적퇴비 픽셀에 대해서는 탐지 정확도가 감소하는 경향을 보였다. Park et al. (2024)의 연구에서는 2023년 영남과 호남 일대의 축사 밀집 구역에서 UAV 영상 데이터와 딥러닝 기반의 모델을 통해 야적퇴비를 탐지하고 관련 관리 등급을 산정하였다. 딥러닝 기반의 객체 탐지 방식의 YOLOv8 모델이 의미론적 분할(semantic segmentation) 방식의 DeepLabv3+ 대비 우수한 성능을 보였다.

Song and Park (2021)의 연구에서는 합천군 삼가면을 대상으로UAV로 수집한 2019년 데이터로 non-Support Vector Machine, Decision Tree, RandomForest, k-nearest neighborhood 네 종류의 야적퇴비 탐지 모델을 학습시키고 학습한 모델의 성능을 비교하였다. RGB 밴드를 포함한 다중분광, 열적외선을 기반으로 식생지수와 지표면 온도를 포함하여 데이터를 구성하였다. 다른 모델 대비 RandomForest 기법의 모델이 가장 높은 정확도를 보였다. Kim et al. (2024)의 연구에서는 Object-Based Image Analysis with a Random Forest classifier (OBIA-RF) 기법과 합성곱 신경망(convolutional neural network, CNN) 기반의 Mask R-CNN 기반의 분할 기법을 적용하여 야적퇴비 탐지 성능을 비교하였다. 딥러닝 기반의 객체 분할 기법인 Mask RCNN을 사용한 모델이 머신러닝 기법 대비 높은 정밀도와 재현율을 보였다. 해당 논문에서는 후속 연구로서 원격탐사 기술과의 융합을 통한 탐지 정확도 향상을 제시하였다.

야적퇴비 분류 및 관리를 위해 고해상도 광학 위성 영상을 이용하여 딥러닝 기법을 활용하는 것이 효과적일 수 있다. Wang et al. (2022)의 연구에서는UAV영상에서 지붕과 식생을 분류하는Mask R-CNN 기반의 제안 모델이 가장 높은 성능을 보였고, 이후 기존의 Mask RCNN 모델이 기존의 딥러닝 모델 대비 높은 정확도를 달성하였다. Kussul et al. (2017)의 연구에서는 광학 위성 영상을 활용해 딥러닝 모델을 학습시켜 토지 피복도와 농작물을 분류하는 연구를 진행하였다. 기존 RandomForest 모델 대비 딥러닝 기반의 1차원 CNN모델과 2차원 CNN 모델이 높은 정확도를 달성하였다. 이외에도 다양한 방법론의 인공지능을 사용한 농작물 분류 등의 원격탐사 분야의 연구가 진행되고 있다(Ok et al., 2012; Ji et al., 2018; Zhong et al., 2019). 위의 연구들을 통해 머신러닝 기법 대비 딥러닝 기법 기반의 모델이 위성 영상에 효과적인 걸로 판단하였다.

선행 연구들로 미루어 보아 야적퇴비 탐지에서 인공지능 기법을 활용하면 효율적인 비점오염원 탐지가 가능하고, 기계학습 모델 대비 딥러닝 모델을 적용하면 비점오염원 탐지에서 더 높은 정확도를 보였다. 이전까지는 높은 공간해상도의 영상을 획득하기 위해 UAV를 통해 영상을 수집했으나, 현실적인 관리 및 비행에 대한 정책으로 인하여 인적 및 금전적 비용이 발생한다. UAV 영상과 달리 위성 영상을 활용한 원격탐사 기법은 상대적으로 낮은 비용과 주기적인 데이터를 획득할 수 있다는 특징이 있다. 본 연구에서는 고해상도 위성영상인 KOMPSAT-3 영상을 활용하여 야적퇴비를 탐지하고자 한다. 이를 위해 객체 탐지와 의미론적 분할 기법이 결합된 딥러닝 기반 모델을 새롭게 제안하고, 정량 및 정성적 성능을 평가하였다. 따라서 오염 문제를 야기할 수 있는 지상의 야적퇴비를 탐지하고 비점오염원에 대한 관리 및 감시를 할 수 있는 방법을 제안하고자 한다.

2.1. 연구 지역

본 연구에서는 Fig. 1과 같이 우리나라 경상남도의 농경지를 대상으로 야적퇴비 탐지를 수행하였다. 영상 데이터는 2021년 4월 14일과 2022년 11월 1일로 나누어 취득하였다. 2021년 4월 14일 영상 데이터는 경상남도 함안군부터 의령군을 거쳐 합천군의 동부를 포함한 지역을, 2022년 11월 1일 영상 데이터는 경상남도 창원시 의창구와 함안군 일부를 포함한 지역부터 창녕군 사이의 지역을 사용하였다. 경상남도 함안군은 북쪽에 위치한 낙동강과 남강을 끼고 경상남도 의령군과 마주하고 있는데, 낙동강과 남강 주변에 평야가 넓게 발달되어 있어 주로 농사와 축사로 운용되고 있다. 창원시는 경상남도의 남동부에 위치해 있으며 북쪽에는 낙동강과 인접한 의창구에는 넓은 평야가 형성되어 있다. 창원시에서는 벼농사가 활발하게 이루어지고 있어 농업용수를 공급하기 위한 주남 저수지가 있는데, 야적퇴비와 같은 비점오염원이 유입될 가능성이 있어 비점오염원에 대한 철저한 관리가 요구되는 지역이기도 하다.

Fig. 1. Study area.

2.2. KOMPSAT-3 데이터

KOMPSAT-3는 한국항공우주연구원에서 2012년 5월 18일에 발사한 광학 관측 위성으로, 0.7 m공간 해상도의 흑백 영상과 2.8 m공간 해상도의 컬러 영상으로 제공된다. KOMPSAT-3는 청색, 녹색, 적색, 근적외선(near-infrared, NIR)으로 구성된 4개의 채널로 구성되어 있다. 본 연구에서 사용한 KOMPSAT-3 영상 데이터는 가시 밴드 영상에 pan-sharpening 영상 융합 기법을 적용해 0.7 m 공간 해상도의 고해상도 영상 데이터로 전처리하였다. 야적퇴비의 라벨링 과정에서는 2021년, 2022년 각 해에 2차 현장 조사를 통해 파악된 현장 조사 데이터의 야적퇴비 위치를 참고하였다(Fig. 2). 야적퇴비는 주로 비닐하우스나 농경지의 근처, 그리고 야적퇴비를 버리기 쉬운 도로 근처에 위치하는 경우가 많았다. 야적퇴비는 가시 밴드 대비 NIR 밴드에서 야적퇴비와 근처 토지 간 경계가 뚜렷하게 구분되는 것을 참고하여 라벨을 제작하였다. 훈련 데이터는 QGIS 소프트웨어를 사용하여 의미론적 분할 기법을 위한 라벨링 데이터로 사용할 수 있도록 영상 데이터의 좌표계에 맞춰 각 패치 이미지로 제작하였다. 데이터 라벨링은 야적퇴비의 비닐이 일부분만 걷혀 있는 경우, 환경오염을 일으킬 수 있을 가능성이 높을 만한, 특히 노출된 채로 드러난 야적퇴비 부분을 확인하며 직접 제작하였다.

Fig. 2. This is a field compost image: (a) unmanned aerial vehicle, (b) visible bands of KOMPSAT-3, (c) labeled, and (d) near-infrared band of KOMPSAT-3.

2.3. 라벨링 과정

본 연구에서 사용한 야적퇴비 마스크의 제작 과정은 Fig. 3과 같다. 본 연구에서는 좌표계 오차에 대한 보정이 없는 KOMPSAT-3 위성 영상 데이터를 사용하였다. 따라서 모든 야적퇴비의 라벨링 제작에 대해 야적퇴비의 현장 조사 레퍼런스 데이터와 위성 영상의 좌표의 오차를 확인하고 라벨링을 진행하였다(Fig. 3e). 위성 영상의 가시광선 영역의 영상 데이터(Fig. 3a)와 레퍼런스 데이터를 사용해 야적퇴비의 위치를 확인하였다. NIR 단일 스펙트럼 영상 데이터(Fig. 3b)를 사용해 야적퇴비의 경계선을 확인하고 벡터(vector) 데이터 형식으로 구성된 폴리곤(polygon) 형태의 라벨링을 제작하였다(Fig. 3c). 해당 과정으로 제작한 폴리곤 형태의 라벨링을 인공지능 학습에 사용할 수 있는 형태로 변환해주기 위해 위성영상의 해상도에 맞게 래스터(raster)로 변환 과정을 거쳐 각 영상별 야적퇴비의 마스크 데이터를 제작하였다.

Fig. 3. The process of making a field compost mask including labeling.

본 연구에서 사용한 코드상에서 전체 데이터 흐름도는 Fig. 4와 같다. 영상 데이터는 크게 6개의 tiff로 5개의 데이터를 학습에 사용하고 1개의 데이터를 각 모델의 평가에 사용했다. 모델에 따른 데이터셋 구축의 용이성을 위해 전처리와 라벨링을 진행한 후 청색, 녹색, 적색으로 구성된 가시광선 기반 광학 영상과 NIR 영상, 라벨링 마스크 데이터를 나누어 저장하였다(Fig. 4i1-3, Fig. 4t1-3). 각 모델의 데이터셋을 제작하는 과정에서 구성에 맞는 데이터를 불러와 사용하였다. 본 연구에서 진행한 방법론은 U-Net 기반의 의미론적 분할 기법 모델, Mask R-CNN 기반의 객체 분할 기법 모델, Faster R-CNN 기반의 객체 탐지 기법 모델, 객체 탐지 기법과 의미론적 분할 기법을 결합한 제안 모델로 총 4가지이다. 모든 방법론의 성능 평가 및 비교는 라벨링으로 제작한 마스크 데이터를 기준으로 평가하였다.

Fig. 4. Data flow chart.

3.1. 훈련 데이터셋 구축

데이터셋을 구축하면서 모델 학습을 위해 충분한 데이터 확보를 위해 데이터 증강 기법을 적용하였다. 데이터 증강 기법은 데이터의 품질을 높이고 양을 늘려 딥러닝 모델의 성능을 향상시켜줌과 동시에 일반화 성능이 향상되어 과적합을 방지할 수 있다(Krizhevsky et al., 2012; Shorten and Khoshgoftaar, 2019). 또한 모든 이미지 패치에 해당하는 KOMPSAT-3 기본 밴드의 픽셀 값에 대하여 0~255 사이의 값으로 정규화를 진행하였다. 야적퇴비의 픽셀 수가 100개 이하인 패치를 줄여 야적퇴비 클래스와 야적퇴비가 아닌 클래스 간의 불균형성을 해소하고자 하였다. 그리고 야적퇴비의 픽셀 수가 100개 이상인 패치는 임의로 수직 반전, 수평 반전을 적용하여 야적퇴비를 포함한 영상에 대해서만 데이터 증강을 적용하였다. 구축한 데이터셋으로 훈련된 모델은 위성 영상을 입력 크기에 맞추어 분할하는 과정에서 간격을 줄이는 방식으로 더 많은 양의 데이터를 추출하였다.

의미론적 분할 기법 방식 기반의 모델을 위한 데이터셋은 데이터 증강 기법을 적용한 64 × 64 크기의 청색, 녹색, 적색과 NIR로 구성된 4개 밴드 이미지 패치로 구성하였다. 대부분의 U-Net 모델 기반 연구에서 4채널(RGB+NIR)이 선호되었다(Sahin et al., 2023). 따라서 본 연구에서는 KOMPSAT-3 위성으로 확보 가능한 NIR 영상 데이터를 포함하여 데이터셋을 구성하였다. 학습과정에서 모델의 정확도가 떨어지는 것을 개선하기 위해 야적퇴비 클래스를 적게 포함하는 패치 이미지는 제외하였다. 또한, 일반적인 지형 대비 야적퇴비의 픽셀을 포함한 입력 피쳐 수가 상대적으로 적어 야적퇴비를 포함하지 않은 패치 이미지를 일부 제외하여 2:1의 비율로 학습을 진행하였다. 의미론적 분할 기법 방식 기반의 모델에서 오탐지 예측을 줄이기 위하여 U-Net 모델의 결과에 수학적 형태학 연산 기법의 후처리를 적용하였다. 수학적 형태학 기법에는 팽창(dilation)과 침식(erosion)으로 구성되는데, 이는 각각 식(1)과 (2)로 나타낼 수 있다. 팽창과 침식 연산을 조합하면 닫힘(closing) 연산을 구현할 수 있는데, 이는 식(3)으로 표현할 수 있다. 닫힘 연산은 이미지 처리에서 형태학적 잡음을 최소화할 수 있는 연산으로 노이즈가 발생할 수 있는 비어있는 픽셀 값을 제거한다. 본 연구에서는 모델의 혼동을 감소시키기 위해서 닫힘 연산을 구성하여 사용하였으며 Fig. 5와 같이 야적퇴비 탐지에 대한 재현율을 향상시킬 수 있었다.

Fig. 5. The predicted images between the original and applied morphology method to enhance the detection accuracy of field compost.

XY= yYXY
XY= yYXY
XY=XYY

객체 탐지 기법 방식 기반의 모델을 위한 데이터셋은 데이터 증강 기법을 적용한 KOMPSAT-3 영상의 4개 채널 중 NIR을 제외한 청색, 녹색, 적색으로 구성된 3개 밴드로 구축하였다. 위성 영상 기반 객체 탐지 연구에서 4채널 이상의 다중 밴드 이미지를 이용해 성능을 향상시키고자 한 시도가 있었다(Guo et al., 2018). 하지만 아직 많은 위성 영상 기반 인공지능 연구에서는 주로 청색, 녹색, 적색으로 구성된 가시광선 기반 광학 영상을 활용한 객체 탐지를 수행하였다(Ren et al., 2018; Yan et al., 2021; Wang et al., 2023). 본 연구에서는 객체 탐지를 수행하는 Faster R-CNN 모델의 입력으로 가시광선에 해당하는 3개 밴드를 사용하여 데이터셋을 구축하였다. 이미지 패치 크기는 라벨링된 야적퇴비 클래스를 자르지 않도록 한 변의 길이가 256의 배수 크기의 픽셀을 가지는 직사각형 영역에 대하여 추출하였다. 검증을 위한 데이터셋으로는 하나의 위성 영상에서 512 × 512 크기로 픽셀을 잘라내어 각각의 패치에서 객체인식을 수행하고 이를 결합해 분석하였다.

3.2. 딥러닝 네트워크

3.2.1. U-Net

U-Net (Ronneberger et al., 2015)은 이미지의 픽셀 값이 어느 클래스에 속하는지 각각 분류하는 의미론적 분할 기법의 모델이다. U-Net의 구조는 이미지의 특징을 추출하는 수축 경로와 추출된 이미지의 특징 맵과 이미지를 결합하는 확장 경로로 구성되어 있다. 수축 경로와 확장 경로 간에는 각 통로에서 도출된 정보를 연결해주는 skip connection이 가능한 bottleneck이 위치하고 있다. 모델 학습을 위한 활성화 알고리즘으로 학습률을 1e-4로 갖는 Adam을 사용하였고, 손실 함수는 교차 엔트로피(cross-entropy)를 사용하였다. Adam 활성화 알고리즘은 모멘텀과 RMSProp의 장점을 결합하여 학습률을 적응적으로 조정하는 방식으로 동작하여 학습 속도가 빠르고 성능이 안정적이다(Kingma and Ba, 2014). 교차 엔트로피는 두 확률 분포 간의 차이를 측정하는 메트릭으로. 분류 모델에서 예측된 확률 분포와 실제 확률 분포 간의 차이를 최소화하는 방향으로 모델을 학습시키는 데 사용된다. 훈련을 위한 모델의 배치 크기는 32로 설정하였으며, 훈련 에포크(epoch)는 30으로 설정하였다. 과적합(overfitting)을 방지하기 위해 각 에포크별 성능과 loss를 확인하여 충분한 학습이 되었다고 판단되는 시점의 모델 파라미터를 저장하여 성능평가를 진행하였다.

3.2.2. Faster R-CNN

Faster R-CNN (Ren et al., 2016)은 R-CNN 기반 객체 탐지 네트워크 병목 현상을 최소화하여 후보영역 추출 네트워크인 region proposal network (RPN)를 적용한 모델이다. RPN은 객체가 있을 가능성이 높은 영역(region proposals)을 정교하게 추출할 수 있도록 다양한 크기를 갖는 바운딩 박스(bounding box)인 anchor box를 도입하였다. Faster R-CNN은 기존의 Fast R-CNN과 RPN을 혼합한 네트워크 방식으로, 야적퇴비 탐지에 적용한다면 전체 위성 영상에서 일부 다양한 크기의 야적퇴비 객체에 대하여 탐지할 수 있었다. Faster R-CNN 네 트 워 크 는 기 존 의 연 구 에 서 CNN 백 본 네 트 워 크 (backbone network)로 VGG16 모델이 사용되었으나, 본 연구에서는 Faster RCNN의 백본 네트워크를 ResNet50 네트워크로 하여 Faster R-CNN 모델을 구축하였다. ResNet50 모델은 잔차 학습(residual learning)을 통해 기울기 소실 문제를 해결하여 더 깊은 네트워크에서도 안정적인 학습이 가능하고, 레이어(layer)를 깊게 쌓아 성능을 향상시키는 것이 가능하다(He et al., 2016). 야적퇴비를 위한 Faster R-CNN 모델 구축 과정에서 최적화 알고리즘은 확률적 경사 하강법과 5e-3의 학습률을 채택하였고, 배치 크기는 16으로 설정하였다.

3.2.3. Mask R-CNN

Mask R-CNN은 Faster R-CNN에 마스크 탐지를 위한 분기를 추가하여 탐지된 객체 내에서 객체 분할 결과를 추가로 탐지할 수 있는 모델(He et al., 2017)이다. Mask R-CNN 네트워크는 백본 네트워크를 거쳐 특징 맵을 생성하고, 생성한 특징 맵을 RPN을 통해 객체가 위치할 가능성이 높은 region of interest (RoI)를 생성한다. 이후 네트워크 헤드(network head)에서 고정된 크기로 변환된 RoI는 분류 및 바운딩 박스 회귀, mask prediction branch에 입력된다. 입력된 각각의 값은 특징 맵에 속한 객체를 예측하고, 객체가 예측 영역에서 잘 포함될 수 있도록 바운딩 박스의 위치를 수정한다. 마지막으로 mask prediction branch에서 분할 마스크를 생성하도록 한다. 모델 학습을 위한 최적화 알고리즘은 5e-4 학습률을 갖는 Adam최적화 알고리즘을 채택하였고, 배치 크기는 4로 설정하였다.

3.3. 제안 모델

본 연구에서는 고해상도 위성 영상 데이터에서 효율적인 야적퇴비 탐지를 위해 여러 모델을 혼합한 탐지 방법론을 제시한다. 구성은 Fig. 6과 같이 Faster R-CNN을 통한 객체를 탐지한 이후 U-Net을 통한 의미론적 분할을 진행하고, 수학적 형태학 기법을 통해 결과를 보정하였다. 여기서 객체 탐지의 결과를 U-Net의 입력 채널에 반영해주기 위해 5번째 밴드로 Faster R-CNN 모델의 결과를 이미지로 변환하여 추가하였다. 이를 위해 각 모델은 별개의 전처리 코드를 가지고 전처리 코드와 모델 학습 코드는 공동 작업환경을 가져 필요한 파일을 공유하도록 설계되었다. U-Net 모델의 피쳐에는 모든 값이 0인 밴드를 추가하였고, Faster R-CNN 모델이 야적퇴비로 예측한 바운딩 박스의 내부에 해당하는 픽셀만 100의 값으로 지정하여 U-Net 모델의 입력 이미지로 구성하였다. 100 값보다 더 작은 값이나 큰 값으로 할당하는 경우, 모델의 학습 성능에서 불안정한 가중치를 가지는 경향을 보였다. 이렇게 구성된 5개 채널의 이미지들을 전부 64 × 64 크기의 이미지로 분할하여 U-Net의 입력 데이터셋으로 사용하였다.

Fig. 6. A combined model structure is proposed in this study.

3.4. 모델 평가 방법

본 연구에서는 각 야적퇴비 탐지 모델의 성능을 평가하기 위해 재현율, 정밀도, F1-점수(F1-Score), 혼동 행렬을 확인하였다. 재현율은 식(4)와 같이 실제로 참인 값에서 모델이 참으로 예측한 것에 대한 비율로, 탐지해야 할 야적퇴비 중에서 모델이 탐지한 야적퇴비의 비율을 나타낸다. 정밀도 식(5)는 모델이 참 값으로 예측한 것 중에서 실제로 참 값인 것에 대한 비율로, 모델이 탐지한 야적퇴비 중 실제 야적퇴비의 비율을 나타낸다. F1-Score는 식(6)과 같이 모델 성능의 정밀도와 재현율을 모두 고려하는 조화 평균으로 0과 1사이의 값을 가지며 1에 가까울수록 분류 성능이 높음을 보인다. 야적퇴비 탐지에 대한 모델에 대한 성능을 확인하기 위해 픽셀 기반의 혼동행렬을 사용한 정량적 분석을 진행하였다. 이 방식은 픽셀에 따른 정확도를 의미해 의미론적 분할 기법을 평가할 때 픽셀 별 분류로 접근하는 방법이다. 이를 통해 다른 기법에서 사용되는 평가지표를 확인하여 종합적인 평가를 진행할 수 있다.

Recall=TPTP+FN
Precision=TPTP+FP
F1Score=2×Precision×RecallPrecision+Recall

본 연구의 야적퇴비 탐지에서는 야적퇴비에 해당하는 픽셀 대비야적퇴비에 해당하지 않는 픽셀이 큰 비율로 가지고 있기 때문에 클래스에 대한 F1-Score를 평균을 도출하는 과정에서 가중 평균이 아닌 일반 산술평균을 통해 값을 도출하는 매크로(macro) 평균 방식을 사용했다. 가중 평균을 통해 평가를 진행할 경우, 야적퇴비가 아닌 픽셀에 대한 가중치가 높게 상승하는 현상이 발생해 정상적인 탐지 결과 대비 높은 점수를 도출하는 문제를 보였다. 이러한 문제를 최소화하기 위하여 매크로 평균을 통해 표준편차를 높여 가시성을 높이고, 간접적으로 재현율에 대한 가중치를 적용하여 평가를 진행하였다.

의미론적 분할 기법을 평가할 때 자주 사용되는 mean Intersectionover-Union (mIoU) 지표도 사용하였다. IoU는 식(7)과 같이 하나의 클래스에서 예측된 맵과 실제 맵의 겹치는 영역이 두 영역의 합으로 나눈 값을 의미한다. IoU를 클래스 별로 나누어 산술평균을 내면 식(8)와 같이mIoU를 도출할 수 있다. mIoU는 클래스에 따라 나눈 IoU 값으로 클래스의 비율에 따라 성능을 비교할 수 있다.

IoU=MaskPredictionMaskPrediction
mIoU=IoUN(The number of classes)

4.1. 야적퇴비 탐지에 대한 정성적 평가

본 연구에서 사용한 객체 기반의 야적퇴비 탐지 모델의 결과는 Fig. 7과 같다. Fig. 7에서 제안 모델은 Faster R-CNN, U-Net과 수학적 형태학 연산을 적용한 결과를 의미한다. Fig. 7의 a와 b의 경우를 볼때 Faster R-CNN을 통한 객체 탐지에서는 야적퇴비 탐지를 바운딩 박스로만 가능한 데에 반해, 결합 모델에서는 의미론적 분할 기법 기반 모델을 한 차례 적용함으로서 야적퇴비의 형태를 탐지하는 것이 가능하였다. 입력으로 사용된 패치의 가장자리 부분을 야적퇴비로 오탐지하는 경향이 일부 패치에서 확인되는데, 이는 256의 배수 크기의 객체 탐지 결과를 U-Net의 입력값으로 넣어줄 때, 야적퇴비의 위치를 고려하지 않고 64 × 64 크기로 분할하여 가장자리 부분에 야적퇴비가 많아지게 되어 이런 미미한 경향을 보이도록 학습된 것으로 추측된다.

Fig. 7. Result image of each object-based model. (a–c) Cases in which the proposed model showed a shape close to the mask compared to the Faster R-CNN model. (d) Cases of reduced performance due to shadow segmentation error.

Fig. 7(c)의 경우에서 2개의 야적퇴비 객체를 제외하고 이미지상 비닐 천막으로 오인될 수 있는 밝은 하늘색 부분을 객체 탐지 기법 기반 모델의 결과에서 오탐지 한 것을 확인할 수 있다. 하지만 위 결과를 결합 모델에서 의미론적 분할 기법 기반 모델을 추가로 적용함으로써 오탐지를 완벽하게 학습하여 야적퇴비가 아닌 픽셀로 정탐지하는 결과를 보였다. Fig. 7(d)의 경우에서는 비교적 밝기가 낮은 이미지로서 객체 탐지 기법 기반 모델에서 바운딩 박스로 예측한 야적퇴비를 형태에 맞게 잘 탐지하였지만, 우측 건물의 그림자를 야적퇴비로 오탐지하는 결과를 보였다. 이러한 결과들을 보아 본 연구에서 제안한 객체 탐지 기법 기반 모델과 의미론적 분할 기법 기반 모델의 결합 모델은 맵 상의 객체단위로 소량 존재하는 야적퇴비 탐지에 대해 기존의 개별 모델 대비 성능을 향상시킬 수 있다고 확인하였다.

4.2. 야적퇴비 탐지에 대한 정량적 평가

U-Net, Faster R-CNN, 본 연구에서 제안한 혼합 모델, Mask R-CNN 순으로 성능을 Table 1에서 평가하였다. Table 1에서 F는 야적퇴비에 해당하지 않는 픽셀을 나타내고 T는 야적퇴비에 해당하는 픽셀을 의미한다. 야적퇴비 외의 클래스에서는 모든 픽셀 정확도가 0.95를 넘어 큰 의미를 두고 비교하기가 어려운 값을 가졌다. 하지만 야적퇴비에 해당하는 F1-Score에서는 U-Net 모델이 0.03, Faster R-CNN 모델이 0.45, Mask R-CNN 모델이 0.30, 혼합 모델이 가장 높은 0.56 값을 가졌다. 전체적인 탐지 성능을 볼 수 있는 mIoU는 의미론적 분할 기법 기반 모델인 U-Net과Mask R-CNN대비 객체 탐지 기반 모델들의 성능이 더 높게 확인되었다. 의미론적 분할 기법 기반인 U-Net 모델과 Mask R-CNN 모델 중에서는 객체를 탐지하여 의미론적 분할을 진행하는 Mask R-CNN 모델이 0.57로 더 높은 성능을 보였다. 객체 탐지 기반 모델인 Faster R-CNN 모델은 0.63으로 혼합모델은 0.68로 본 논문에서 제안하는 모델이 매크로 평균과 mIoU 수치가 가장 우수하게 도출되었다.

Table 1 Score of each model

TitlePrecisionRecallF1-scoreMacroAvgIoUmIoU
U-Net+MorphologyF0.950.990.970.500.940.48
T0.110.020.030.02
Faster R-CNN F0.990.980.990.720.980.63
T0.370.570.450.29
Proposal modelF0.980.980.980.770.960.68
T0.610.520.560.39
Mask R-CNNF0.990.970.980.640.960.57
T0.200.600.300.17

의미론적 분할 기법 기반 모델을 통한 야적퇴비 탐지를 진행한 결과에 대해 수학적 형태학 후처리 보정을 진행하였다. Fig. 5의 의미론적 분할 기법 기반 모델의 결과는 야적퇴비 탐지에 있어 뭉쳐있는 픽셀과 같은 객체 단위가 아닌 개별의 탐지를 진행하여 올바른 야적퇴비에 대해서도 빈 픽셀을 결과로 예측한다. 이로 인해 정성적 평가에서는 올바른 야적퇴비 탐지를 진행하여도 수치상 성능이 좋지 못하게 확인되는 문제점이 존재하였다. 수학적 형태학 후처리의 닫힘 연산을 통해 결과를 보정하여 해당 결과를 보완하였고, 수치상 성능이 소폭 향상하는 결과를 확인하였다. 하지만 닫힘 연산으로 인해 의미론적 분할 기법 기반 모델의 오탐지 결과에 지장을 주어 전체적인 야적퇴비 탐지 성능이 떨어지는 문제점이 있다.

본 연구에 사용된 데이터셋에서의 야적퇴비는 넓은 지상 이미지데이터 상에서 소수의 픽셀에 해당하고, 주로 하나의 객체 단위로 특정한 지점에 픽셀이 모여있는 특성을 보인다. 이러한 특성은 의미론적 분할 기법 기반의 모델 대비 객체 단위를 쉽게 탐지할 수 있는 객체 탐지 기법 기반의 모델이 야적퇴비 탐지에 대해 더 높은 성능을 보인 이유 중 하나이다. 객체 탐지를 진행하고 별도의 의미 분할 분기를 추가한 객체 분할 기법 기반의 모델 또한 높은 성능을 보이는 경향을 가진다. 객체 탐지 혹은 객체 분할 기법을 통해 야적퇴비를 탐지하면 정밀도 대비 재현율이 높게 나오는 특성을 보이는데, 이는 야적퇴비를 다소 과추정한다는 것을 의미한다. 여기서 2차적으로 U-Net을 통한 의미론적 분할을 진행하여 결과를 확인하면 야적퇴비에 해당하는 클래스의 평가의 재현율이 소폭 감소하지만, 정밀도가 2배 정도 상승하는 효과를 보인다. 이러한 특징을 조합하여 본 연구에서 제안하는 모델은 의미론적 분할 기법과 객체 분할 기법 기반 모델들 대비 각 클래스의 F1-Score와 IoU 값이 높아져 총 성능 평가가 높아지는 결과를 보인다고 판단하였다.

기존 야적퇴비 탐지에 관한 연구는 UAV 데이터 기반으로 진행되었다. UAV의 영상 데이터는 위성 영상에서 픽셀 크기에 해당하는 ground sample distance의 값이 10 cm이하의 값을 가진다. 본 연구에 사용된 고해상도 위성 영상의 해상도는 0.7 m로 UAV의 영상 해상도보다 위성 영상의 해상도가 낮다는 한계로 인하여 위성 영상을 사용한 야적퇴비 탐지에 대한 성능은 UAV의 영상을 사용한 야적퇴비 탐지 성능보다 낮다는 한계점이 존재한다. 하지만 UAV를 통한 데이터셋의 확보는 드론의 비행과 관리가 필요하다. 이는 상용중인 위성을 사용해 주기적으로 데이터셋을 확보할 수 있는 위성 영상 대비 많은 비용이 든다. 따라서 넓은 범위의 지역을 관리하기 위해서는 위성 영상을 사용한 야적퇴비 탐지가 효율적이고, 일정 지점에 대한 정확도 높은 야적퇴비 탐지를 위해서는 UAV를 통한 야적퇴비 탐지가 효율적일 수 있다.

본 연구에서는 고해상도 위성 영상 기반 야적퇴비 탐지에서 객체 탐지와 의미론적 분할기법 모델의 조합별 성능과 객체 분할기법 모델의 성능을 비교하였다. 위성 영상은 청색, 녹색, 적색, NIR 총 4개의 밴드로 이루어진 영상을 사용하였다. 야적퇴비 탐지를 위해 U-Net, Faster R-CNN, Mask R-CNN 모델을 조합하여 결과를 확인하였다. 본 논문에서 추가로 제시한 혼합모델에서는 Faster R-CNN을 통한 야적퇴비 탐지를 진행하고, 결과에 해당하는 마스크를 5번째 채널에 추가하여 U-Net을 통한 의미론적 분할과 산술학적 후처리를 진행하여 결과를 확인하였다. 모델의 평가는 픽셀 정확도를 통한 F1-Score와 mIoU를 통해 진행하였다. 야적퇴비 탐지에 있어 의미론적 분할을 목적으로 둔 U-Net 모델과Mask R-CNN대비 객체 탐지를 목적으로 둔 Faster R-CNN 기반 모델이 매크로 정확도 F1-Score와 mIoU에 있어 높은 성능을 보였고, 그중 혼합모델이 매크로 정확도 0.77과 mIoU 0.675로 가장 높은 값을 보였다. 이를 통해 고해상도 위성 영상을 통한 야적퇴비 탐지가 가능하고, 탐지 목적에 따라 모델의 결합을 통해 성능 향상을 도모할 수 있음을 확인하였다. 향후 방법론 강화와 위성 영상의 해상도 강화를 통해 야적퇴비 탐지 성능이 향상될 것으로 기대된다.

또한 UAV 영상 대비 야적퇴비 탐지에 있어 비용적 장점을 가질 수 있음을 확인하였다. 야적퇴비는 시기에 따라 집중적으로 관리가 필요한 때가 존재하는데, 야적퇴비를 사용하기 이전에 농경지 근처로 나누어 배치하였을 때에 해당한다. 따라서 위성 영상을 통한 야적퇴비 탐지는 저렴한 비용과 주기적인 데이터를 통해 시기별 불법 적재 야적퇴비의 관찰을 진행하는 것이 효율적이라고 판단된다. 이러한 야적퇴비 중에서 의심이 되는 경우가 발생하거나 집중 관리가 필요한 경우에 UAV를 통한 야적퇴비 탐지가 효율적일 것이다. 그리고 인 공위성과 UAV 고해상도 영상을 통한 야적퇴비 탐지는 상대적으로 넓은 공간에서 빠르고 효율적인 야적퇴비 탐지를 가능할 것으로 향후 연구에서 기대해볼 수 있을 것이다.

이 논문은 정부(과학기술정보통신부 및 환경부)의 재원으로 한국연구재단의 지원(과제번호: 2022R1C1C1013225)과 국립환경과학원의 지원을 받았습니다.

  1. Choi, J. K., Son, J. G., Yoon, K. S., Lee, H. J., and Kim, Y. J., 2012. Runoff characteristics in paddy field using cow manure compost fertilizer. Journal of the Korean Society of Agricultural Engineers, 54(3), 29-36. https://doi.org/10.5389/KSAE.2012.54.3.029
  2. Guo, W., Yang, W., Zhang, H., and Hua, G., 2018. Geospatial object detection in high resolution satellite images based on multi-scale convolutional neural network. Remote Sensing, 10(1), 131. https://doi.org/10.3390/rs10010131
  3. He, K., Gkioxari, G., Dollár, P., and Girshick, R., 2017. Mask R-CNN. In Proceedings of the 2017 IEEE International Conference on Computer Vision, Venice, Italy, Oct. 22-29, pp. 2961-2969. https://doi.org/10.1109/ICCV.2017.322
  4. He, K., Zhang, X., Ren, S., and Sun, J., 2016. Deep residual learning for image recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, June 27-30, pp. 770-778. https://doi.org/10.1109/CVPR.2016.90
  5. Ji, S., Zhang, C., Xu, A., Shi, Y., and Duan, Y., 2018. 3D convolutional neural networks for crop classification with multi-temporal remote sensing images. Remote Sensing, 10(1), 75. https://doi.org/10.3390/rs10010075
  6. Kim, N. K., Park, M. S., Jeong, M. J., Hwang, D. H., and Yoon, H. J., 2021. A study on field compost detection by using unmanned aerialvehicle image and semantic segmentation technique based deep learning. Korean Journal of Remote Sensing, 37(3), 367-378. https://doi.org/10.7780/kjrs.2021.37.3.1
  7. Kim, T. G., Park, G. U., Song, B. G., Kim, S. H., Jeong, D. E., and Park, K. H., 2024. Detection of compost piles in agricultural area using unmanned aerial vehicle imagery and artificial intelligence. Journal of the Korean Society for Environmental Technology, 25(1), 20-30. https://doi.org/10.26511/JKSET.25.1.3
  8. Kingma, D. P., and Ba, J. L., 2014. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980. https://doi.org/10.48550/arXiv.1412.6980
  9. Krizhevsky, A., Sutskever, I., and Hinton, G. E., 2012. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 25.
  10. Kussul, N., Lavreniuk, M., Skakun, S., and Shelestov, A., 2017. Deep learning classification of land cover and crop types using remote sensing data. IEEE Geoscience and Remote Sensing Letters, 14(5), 778-782. https://doi.org/10.1109/LGRS.2017.2681128
  11. Ok, A. O., Akar, O., and Gungor, O., 2012. Evaluation of random forest method for agricultural crop classification. European Journal of Remote Sensing, 45(1), 421-432. https://doi.org/10.5721/EuJRS20124535
  12. Park, G., Park, K., and Song, B., 2020. Spatio-temporal change monitoring of outside manure piles using unmanned aerial vehicle images. Drones, 5(1), 1. https://doi.org/10.3390/drones5010001
  13. Park, M. S., Kim, H. M., Kim, Y. M., Bak, S. H., Kim, T. Y., and Jang, S. W., 2024. Detection and grading of compost heap using UAV and deep learning. Korean Journal of Remote Sensing, 40(1), 33-43. https://doi.org/10.7780/kjrs.2024.40.1.4
  14. Ren, S., He, K., Girshick, R., and Sun, J., 2016. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 1137-1149. https://doi.org/10.1109/TPAMI.2016.2577031
  15. Ren, Y., Zhu, C., and Xiao, S., 2018. Small object detection in optical remote sensing images via modified faster R-CNN. Applied Sciences, 8(5), 813. https://doi.org/10.3390/app8050813
  16. Ronneberger, O., Fischer, P., and Brox, T., 2015. U-Net: Convolutional networks for biomedical image segmentation. In: Navab, N., Hornegger, J., Wells, W., Frangi, A., (eds.), Medical image computing and computer-assisted intervention -MICCAI 2015, Springer, pp. 234-241. https://doi.org/10.1007/978-3-319-24574-4_28
  17. Sahin, H. M., Miftahushudur, T., Grieve, B., and Yin, H., 2023. Segmentation of weeds and crops using multispectral imaging and CRF-enhanced U-Net. Computers and Electronics in Agriculture, 211, 107956. https://doi.org/10.1016/j.compag.2023.107956
  18. Sharpley, A., and Moyer, B., 2000. Phosphorus forms in manure and compost and their release during simulated rainfall. Journal of Environmental Quality, 29(5), 1462-1469. https://doi.org/10.2134/jeq2000.00472425002900050012x
  19. Shorten, C., and Khoshgoftaar, T. M., 2019. A survey on image data augmentation for deep learning. Journal of Big Data, 6(1), 1-48. https://doi.org/10.1186/s40537-019-0197-0
  20. Song, B., and Park, K., 2021. Comparison of outdoor compost pile detection using unmanned aerial vehicle images and various machine learning techniques. Drones, 5(2), 31. https://doi.org/10.3390/drones5020031
  21. Wang, Y., Li, S., Teng, F., Lin, Y., Wang, M., and Cai, H., 2022. Improved mask R-CNN for rural building roof type recognition from UAV high-resolution images: A case study in Hunan province, China. Remote Sensing, 14(2), 265. https://doi.org/10.3390/rs14020265
  22. Wang, Z., Bai, L., Song, G., Zhang, Y., Zhu, M., Zhao, M., Chen, L., and Wang, M., 2023. Optimized faster R-CNN for oil wells detection from high-resolution remote sensing images. International Journal of Remote Sensing, 44(22), 6897-6928. https://doi.org/10.1080/01431161.2023.2275322
  23. Yan, D., Li, G., Li, X., Zhang, H., Lei, H., Lu, K., Cheng, M., and Zhu, F., 2021. An improved Faster R-CNN method to detect tailings ponds from high-resolution remote sensing images. Remote Sensing, 13(11), 2052. https://doi.org/10.3390/rs13112052
  24. Zhong, L., Hu, L., and Zhou, H., 2019. Deep learning based multitemporal crop classification. Remote Sensing of Environment, 221, 430-443. https://doi.org/10.1016/j.rse.2018.11.032

Research Article

Korean J. Remote Sens. 2024; 40(6): 1409-1419

Published online December 31, 2024 https://doi.org/10.7780/kjrs.2024.40.6.3.3

Copyright © Korean Society of Remote Sensing.

딥러닝 기법을 사용한 고해상도 위성 영상 기반의 야적퇴비 탐지 방법론 제시

정성규1, 김병철2, 박선영3*, 정유진4, 이소영5

1서울과학기술대학교 인공지능응용학과 학부생
2서울과학기술대학교 인공지능응용학과 박사과정생
3서울과학기술대학교 인공지능응용학과 조교수
4국립환경과학원 물환경연구부 연구관
5국립환경과학원 물환경연구부 연구사

Received: November 1, 2024; Revised: November 21, 2024; Accepted: November 29, 2024

Satellite Image-Based Field Compost Detection Using Deep Learning

Sungkyu Jeong1 , Byeongcheol Kim2 , Seonyoung Park3* , Eugene Chung4, Soyoung Lee5

1Undergraduate Student, Department of Applied Artificial Intelligence, Seoul National University of Science and Technology, Seoul, Republic of Korea
2PhD Student, Department of Applied Artificial Intelligence, Seoul National University of Science and Technology, Seoul, Republic of Korea
3Assistant Professor, Department of Applied Artificial Intelligence, Seoul National University of Science and Technology, Seoul, Republic of Korea
4Senior Researcher, Water Environment Research Department, National Institute of Environmental Research, Incheon, Republic of Korea
5Researcher, Water Environment Research Department, National Institute of Environmental Research, Incheon, Republic of Korea

Correspondence to:Seonyoung Park
E-mail: sypark@seoultech.ac.kr

Received: November 1, 2024; Revised: November 21, 2024; Accepted: November 29, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

With the development of agriculture, the illegal management of field compost, a non-point source of pollution, has become a growing concern as a source of water and environmental pollution. However, detection of field compost through field surveys is difficult and costly. Therefore, following the recent increase in research on the detection and management of field compost, this study aims to detect field compost using high-resolution satellite imagery. We collected satellite image data in the blue, green, red, and near-infrared (NIR) bands over agricultural fields in Gyeongsangnam-do. We labeled unmanaged field compost and evaluated the performance of field compost detection using deep learning models. A total of four models for field compost detection were presented: semantic segmentation detection using U-Net, object segmentation detection using Mask Region-based Convolutional Neural Network (R-CNN), object detection using Faster R-CNN, and a hybrid model combining Faster R-CNN and U-Net for semantic segmentation detection. In the accuracy evaluation based on pixel accuracy and mean Intersection-over-Union (mIoU), the object-based model was more reliable than other models, and the combined model proposed in this paper showed the highest mIoU of 0.68. Based on these results, it is expected that the cost advantage of satellite imagery and the high reliability of field compost detection through unmanned aerial vehicles can be utilized to solve the current problems of field compost detection. In future studies, if the methodology and the quality of satellite images can be improved, accurate field compost detection will be possible.

Keywords: Field-compost, Deep learning, KOMPSAT-3, Instance segmentation

1. 서론

야적퇴비는 야초나 짚, 낙엽 및 기타 동물의 분뇨를 퇴적·발효시킨 비료로 식물 성장에 필요한 질소와 인이 포함되어 있는 비료이다(Song and Park, 2021). 야적퇴비는 축산에서 발생되는 대표적인 비점오염원으로 적절하게 처리하지 않는 경우, 강우에 따라 지표수에 유입되어 지하수에 대한 오염이 발생하기도 한다(Sharpley and Moyer, 2000). 야적퇴비는 시간이 지날수록 악취를 발생하는 원인이 되어 인류의 건강에 해를 끼치는 위생학적인 문제를 유발시키기도 한다(Choi et al., 2012). 야적퇴비는 현재에도 관리 대책이 많지 않아 현장 조사를 통해 확인 및 관리되고 있다. 현장 조사 방법은 해당 지역의 환경을 관리하는 공무원이 직접 사진을 촬영하여 야적퇴비를 관리해야 하기 때문에 인적·경제적 비용이 커 관련 기술 연구가 꾸준히 수행되고 있다.

이를 바탕으로 현장 조사를 대체할 수 있는 야적퇴비 탐지 및 관리를 위해 무인항공기(unmanned aerial vehicle, UAV)를 통한 인공지능야적퇴비 탐지 연구를 제시하기 시작하였다(Park et al., 2020). Kim et al. (2021)의 연구에서는 UAV 영상과 U-Net을 활용하여 야적퇴지 탐지를 수행하였다. 예측 결과의 노이즈를 제거하기 위해 수학적 형태학(mathematicalmorphology) 후처리 연산을 수행하였다. 하지만 타일 형태의 분할 과정에서 가장자리의 작은 비율의 야적퇴비 픽셀에 대해서는 탐지 정확도가 감소하는 경향을 보였다. Park et al. (2024)의 연구에서는 2023년 영남과 호남 일대의 축사 밀집 구역에서 UAV 영상 데이터와 딥러닝 기반의 모델을 통해 야적퇴비를 탐지하고 관련 관리 등급을 산정하였다. 딥러닝 기반의 객체 탐지 방식의 YOLOv8 모델이 의미론적 분할(semantic segmentation) 방식의 DeepLabv3+ 대비 우수한 성능을 보였다.

Song and Park (2021)의 연구에서는 합천군 삼가면을 대상으로UAV로 수집한 2019년 데이터로 non-Support Vector Machine, Decision Tree, RandomForest, k-nearest neighborhood 네 종류의 야적퇴비 탐지 모델을 학습시키고 학습한 모델의 성능을 비교하였다. RGB 밴드를 포함한 다중분광, 열적외선을 기반으로 식생지수와 지표면 온도를 포함하여 데이터를 구성하였다. 다른 모델 대비 RandomForest 기법의 모델이 가장 높은 정확도를 보였다. Kim et al. (2024)의 연구에서는 Object-Based Image Analysis with a Random Forest classifier (OBIA-RF) 기법과 합성곱 신경망(convolutional neural network, CNN) 기반의 Mask R-CNN 기반의 분할 기법을 적용하여 야적퇴비 탐지 성능을 비교하였다. 딥러닝 기반의 객체 분할 기법인 Mask RCNN을 사용한 모델이 머신러닝 기법 대비 높은 정밀도와 재현율을 보였다. 해당 논문에서는 후속 연구로서 원격탐사 기술과의 융합을 통한 탐지 정확도 향상을 제시하였다.

야적퇴비 분류 및 관리를 위해 고해상도 광학 위성 영상을 이용하여 딥러닝 기법을 활용하는 것이 효과적일 수 있다. Wang et al. (2022)의 연구에서는UAV영상에서 지붕과 식생을 분류하는Mask R-CNN 기반의 제안 모델이 가장 높은 성능을 보였고, 이후 기존의 Mask RCNN 모델이 기존의 딥러닝 모델 대비 높은 정확도를 달성하였다. Kussul et al. (2017)의 연구에서는 광학 위성 영상을 활용해 딥러닝 모델을 학습시켜 토지 피복도와 농작물을 분류하는 연구를 진행하였다. 기존 RandomForest 모델 대비 딥러닝 기반의 1차원 CNN모델과 2차원 CNN 모델이 높은 정확도를 달성하였다. 이외에도 다양한 방법론의 인공지능을 사용한 농작물 분류 등의 원격탐사 분야의 연구가 진행되고 있다(Ok et al., 2012; Ji et al., 2018; Zhong et al., 2019). 위의 연구들을 통해 머신러닝 기법 대비 딥러닝 기법 기반의 모델이 위성 영상에 효과적인 걸로 판단하였다.

선행 연구들로 미루어 보아 야적퇴비 탐지에서 인공지능 기법을 활용하면 효율적인 비점오염원 탐지가 가능하고, 기계학습 모델 대비 딥러닝 모델을 적용하면 비점오염원 탐지에서 더 높은 정확도를 보였다. 이전까지는 높은 공간해상도의 영상을 획득하기 위해 UAV를 통해 영상을 수집했으나, 현실적인 관리 및 비행에 대한 정책으로 인하여 인적 및 금전적 비용이 발생한다. UAV 영상과 달리 위성 영상을 활용한 원격탐사 기법은 상대적으로 낮은 비용과 주기적인 데이터를 획득할 수 있다는 특징이 있다. 본 연구에서는 고해상도 위성영상인 KOMPSAT-3 영상을 활용하여 야적퇴비를 탐지하고자 한다. 이를 위해 객체 탐지와 의미론적 분할 기법이 결합된 딥러닝 기반 모델을 새롭게 제안하고, 정량 및 정성적 성능을 평가하였다. 따라서 오염 문제를 야기할 수 있는 지상의 야적퇴비를 탐지하고 비점오염원에 대한 관리 및 감시를 할 수 있는 방법을 제안하고자 한다.

2. 연구 지역 및 자료

2.1. 연구 지역

본 연구에서는 Fig. 1과 같이 우리나라 경상남도의 농경지를 대상으로 야적퇴비 탐지를 수행하였다. 영상 데이터는 2021년 4월 14일과 2022년 11월 1일로 나누어 취득하였다. 2021년 4월 14일 영상 데이터는 경상남도 함안군부터 의령군을 거쳐 합천군의 동부를 포함한 지역을, 2022년 11월 1일 영상 데이터는 경상남도 창원시 의창구와 함안군 일부를 포함한 지역부터 창녕군 사이의 지역을 사용하였다. 경상남도 함안군은 북쪽에 위치한 낙동강과 남강을 끼고 경상남도 의령군과 마주하고 있는데, 낙동강과 남강 주변에 평야가 넓게 발달되어 있어 주로 농사와 축사로 운용되고 있다. 창원시는 경상남도의 남동부에 위치해 있으며 북쪽에는 낙동강과 인접한 의창구에는 넓은 평야가 형성되어 있다. 창원시에서는 벼농사가 활발하게 이루어지고 있어 농업용수를 공급하기 위한 주남 저수지가 있는데, 야적퇴비와 같은 비점오염원이 유입될 가능성이 있어 비점오염원에 대한 철저한 관리가 요구되는 지역이기도 하다.

Figure 1. Study area.

2.2. KOMPSAT-3 데이터

KOMPSAT-3는 한국항공우주연구원에서 2012년 5월 18일에 발사한 광학 관측 위성으로, 0.7 m공간 해상도의 흑백 영상과 2.8 m공간 해상도의 컬러 영상으로 제공된다. KOMPSAT-3는 청색, 녹색, 적색, 근적외선(near-infrared, NIR)으로 구성된 4개의 채널로 구성되어 있다. 본 연구에서 사용한 KOMPSAT-3 영상 데이터는 가시 밴드 영상에 pan-sharpening 영상 융합 기법을 적용해 0.7 m 공간 해상도의 고해상도 영상 데이터로 전처리하였다. 야적퇴비의 라벨링 과정에서는 2021년, 2022년 각 해에 2차 현장 조사를 통해 파악된 현장 조사 데이터의 야적퇴비 위치를 참고하였다(Fig. 2). 야적퇴비는 주로 비닐하우스나 농경지의 근처, 그리고 야적퇴비를 버리기 쉬운 도로 근처에 위치하는 경우가 많았다. 야적퇴비는 가시 밴드 대비 NIR 밴드에서 야적퇴비와 근처 토지 간 경계가 뚜렷하게 구분되는 것을 참고하여 라벨을 제작하였다. 훈련 데이터는 QGIS 소프트웨어를 사용하여 의미론적 분할 기법을 위한 라벨링 데이터로 사용할 수 있도록 영상 데이터의 좌표계에 맞춰 각 패치 이미지로 제작하였다. 데이터 라벨링은 야적퇴비의 비닐이 일부분만 걷혀 있는 경우, 환경오염을 일으킬 수 있을 가능성이 높을 만한, 특히 노출된 채로 드러난 야적퇴비 부분을 확인하며 직접 제작하였다.

Figure 2. This is a field compost image: (a) unmanned aerial vehicle, (b) visible bands of KOMPSAT-3, (c) labeled, and (d) near-infrared band of KOMPSAT-3.

2.3. 라벨링 과정

본 연구에서 사용한 야적퇴비 마스크의 제작 과정은 Fig. 3과 같다. 본 연구에서는 좌표계 오차에 대한 보정이 없는 KOMPSAT-3 위성 영상 데이터를 사용하였다. 따라서 모든 야적퇴비의 라벨링 제작에 대해 야적퇴비의 현장 조사 레퍼런스 데이터와 위성 영상의 좌표의 오차를 확인하고 라벨링을 진행하였다(Fig. 3e). 위성 영상의 가시광선 영역의 영상 데이터(Fig. 3a)와 레퍼런스 데이터를 사용해 야적퇴비의 위치를 확인하였다. NIR 단일 스펙트럼 영상 데이터(Fig. 3b)를 사용해 야적퇴비의 경계선을 확인하고 벡터(vector) 데이터 형식으로 구성된 폴리곤(polygon) 형태의 라벨링을 제작하였다(Fig. 3c). 해당 과정으로 제작한 폴리곤 형태의 라벨링을 인공지능 학습에 사용할 수 있는 형태로 변환해주기 위해 위성영상의 해상도에 맞게 래스터(raster)로 변환 과정을 거쳐 각 영상별 야적퇴비의 마스크 데이터를 제작하였다.

Figure 3. The process of making a field compost mask including labeling.

3. 야적퇴비 탐지 방법론

본 연구에서 사용한 코드상에서 전체 데이터 흐름도는 Fig. 4와 같다. 영상 데이터는 크게 6개의 tiff로 5개의 데이터를 학습에 사용하고 1개의 데이터를 각 모델의 평가에 사용했다. 모델에 따른 데이터셋 구축의 용이성을 위해 전처리와 라벨링을 진행한 후 청색, 녹색, 적색으로 구성된 가시광선 기반 광학 영상과 NIR 영상, 라벨링 마스크 데이터를 나누어 저장하였다(Fig. 4i1-3, Fig. 4t1-3). 각 모델의 데이터셋을 제작하는 과정에서 구성에 맞는 데이터를 불러와 사용하였다. 본 연구에서 진행한 방법론은 U-Net 기반의 의미론적 분할 기법 모델, Mask R-CNN 기반의 객체 분할 기법 모델, Faster R-CNN 기반의 객체 탐지 기법 모델, 객체 탐지 기법과 의미론적 분할 기법을 결합한 제안 모델로 총 4가지이다. 모든 방법론의 성능 평가 및 비교는 라벨링으로 제작한 마스크 데이터를 기준으로 평가하였다.

Figure 4. Data flow chart.

3.1. 훈련 데이터셋 구축

데이터셋을 구축하면서 모델 학습을 위해 충분한 데이터 확보를 위해 데이터 증강 기법을 적용하였다. 데이터 증강 기법은 데이터의 품질을 높이고 양을 늘려 딥러닝 모델의 성능을 향상시켜줌과 동시에 일반화 성능이 향상되어 과적합을 방지할 수 있다(Krizhevsky et al., 2012; Shorten and Khoshgoftaar, 2019). 또한 모든 이미지 패치에 해당하는 KOMPSAT-3 기본 밴드의 픽셀 값에 대하여 0~255 사이의 값으로 정규화를 진행하였다. 야적퇴비의 픽셀 수가 100개 이하인 패치를 줄여 야적퇴비 클래스와 야적퇴비가 아닌 클래스 간의 불균형성을 해소하고자 하였다. 그리고 야적퇴비의 픽셀 수가 100개 이상인 패치는 임의로 수직 반전, 수평 반전을 적용하여 야적퇴비를 포함한 영상에 대해서만 데이터 증강을 적용하였다. 구축한 데이터셋으로 훈련된 모델은 위성 영상을 입력 크기에 맞추어 분할하는 과정에서 간격을 줄이는 방식으로 더 많은 양의 데이터를 추출하였다.

의미론적 분할 기법 방식 기반의 모델을 위한 데이터셋은 데이터 증강 기법을 적용한 64 × 64 크기의 청색, 녹색, 적색과 NIR로 구성된 4개 밴드 이미지 패치로 구성하였다. 대부분의 U-Net 모델 기반 연구에서 4채널(RGB+NIR)이 선호되었다(Sahin et al., 2023). 따라서 본 연구에서는 KOMPSAT-3 위성으로 확보 가능한 NIR 영상 데이터를 포함하여 데이터셋을 구성하였다. 학습과정에서 모델의 정확도가 떨어지는 것을 개선하기 위해 야적퇴비 클래스를 적게 포함하는 패치 이미지는 제외하였다. 또한, 일반적인 지형 대비 야적퇴비의 픽셀을 포함한 입력 피쳐 수가 상대적으로 적어 야적퇴비를 포함하지 않은 패치 이미지를 일부 제외하여 2:1의 비율로 학습을 진행하였다. 의미론적 분할 기법 방식 기반의 모델에서 오탐지 예측을 줄이기 위하여 U-Net 모델의 결과에 수학적 형태학 연산 기법의 후처리를 적용하였다. 수학적 형태학 기법에는 팽창(dilation)과 침식(erosion)으로 구성되는데, 이는 각각 식(1)과 (2)로 나타낼 수 있다. 팽창과 침식 연산을 조합하면 닫힘(closing) 연산을 구현할 수 있는데, 이는 식(3)으로 표현할 수 있다. 닫힘 연산은 이미지 처리에서 형태학적 잡음을 최소화할 수 있는 연산으로 노이즈가 발생할 수 있는 비어있는 픽셀 값을 제거한다. 본 연구에서는 모델의 혼동을 감소시키기 위해서 닫힘 연산을 구성하여 사용하였으며 Fig. 5와 같이 야적퇴비 탐지에 대한 재현율을 향상시킬 수 있었다.

Figure 5. The predicted images between the original and applied morphology method to enhance the detection accuracy of field compost.

XY= yYXY
XY= yYXY
XY=XYY

객체 탐지 기법 방식 기반의 모델을 위한 데이터셋은 데이터 증강 기법을 적용한 KOMPSAT-3 영상의 4개 채널 중 NIR을 제외한 청색, 녹색, 적색으로 구성된 3개 밴드로 구축하였다. 위성 영상 기반 객체 탐지 연구에서 4채널 이상의 다중 밴드 이미지를 이용해 성능을 향상시키고자 한 시도가 있었다(Guo et al., 2018). 하지만 아직 많은 위성 영상 기반 인공지능 연구에서는 주로 청색, 녹색, 적색으로 구성된 가시광선 기반 광학 영상을 활용한 객체 탐지를 수행하였다(Ren et al., 2018; Yan et al., 2021; Wang et al., 2023). 본 연구에서는 객체 탐지를 수행하는 Faster R-CNN 모델의 입력으로 가시광선에 해당하는 3개 밴드를 사용하여 데이터셋을 구축하였다. 이미지 패치 크기는 라벨링된 야적퇴비 클래스를 자르지 않도록 한 변의 길이가 256의 배수 크기의 픽셀을 가지는 직사각형 영역에 대하여 추출하였다. 검증을 위한 데이터셋으로는 하나의 위성 영상에서 512 × 512 크기로 픽셀을 잘라내어 각각의 패치에서 객체인식을 수행하고 이를 결합해 분석하였다.

3.2. 딥러닝 네트워크

3.2.1. U-Net

U-Net (Ronneberger et al., 2015)은 이미지의 픽셀 값이 어느 클래스에 속하는지 각각 분류하는 의미론적 분할 기법의 모델이다. U-Net의 구조는 이미지의 특징을 추출하는 수축 경로와 추출된 이미지의 특징 맵과 이미지를 결합하는 확장 경로로 구성되어 있다. 수축 경로와 확장 경로 간에는 각 통로에서 도출된 정보를 연결해주는 skip connection이 가능한 bottleneck이 위치하고 있다. 모델 학습을 위한 활성화 알고리즘으로 학습률을 1e-4로 갖는 Adam을 사용하였고, 손실 함수는 교차 엔트로피(cross-entropy)를 사용하였다. Adam 활성화 알고리즘은 모멘텀과 RMSProp의 장점을 결합하여 학습률을 적응적으로 조정하는 방식으로 동작하여 학습 속도가 빠르고 성능이 안정적이다(Kingma and Ba, 2014). 교차 엔트로피는 두 확률 분포 간의 차이를 측정하는 메트릭으로. 분류 모델에서 예측된 확률 분포와 실제 확률 분포 간의 차이를 최소화하는 방향으로 모델을 학습시키는 데 사용된다. 훈련을 위한 모델의 배치 크기는 32로 설정하였으며, 훈련 에포크(epoch)는 30으로 설정하였다. 과적합(overfitting)을 방지하기 위해 각 에포크별 성능과 loss를 확인하여 충분한 학습이 되었다고 판단되는 시점의 모델 파라미터를 저장하여 성능평가를 진행하였다.

3.2.2. Faster R-CNN

Faster R-CNN (Ren et al., 2016)은 R-CNN 기반 객체 탐지 네트워크 병목 현상을 최소화하여 후보영역 추출 네트워크인 region proposal network (RPN)를 적용한 모델이다. RPN은 객체가 있을 가능성이 높은 영역(region proposals)을 정교하게 추출할 수 있도록 다양한 크기를 갖는 바운딩 박스(bounding box)인 anchor box를 도입하였다. Faster R-CNN은 기존의 Fast R-CNN과 RPN을 혼합한 네트워크 방식으로, 야적퇴비 탐지에 적용한다면 전체 위성 영상에서 일부 다양한 크기의 야적퇴비 객체에 대하여 탐지할 수 있었다. Faster R-CNN 네 트 워 크 는 기 존 의 연 구 에 서 CNN 백 본 네 트 워 크 (backbone network)로 VGG16 모델이 사용되었으나, 본 연구에서는 Faster RCNN의 백본 네트워크를 ResNet50 네트워크로 하여 Faster R-CNN 모델을 구축하였다. ResNet50 모델은 잔차 학습(residual learning)을 통해 기울기 소실 문제를 해결하여 더 깊은 네트워크에서도 안정적인 학습이 가능하고, 레이어(layer)를 깊게 쌓아 성능을 향상시키는 것이 가능하다(He et al., 2016). 야적퇴비를 위한 Faster R-CNN 모델 구축 과정에서 최적화 알고리즘은 확률적 경사 하강법과 5e-3의 학습률을 채택하였고, 배치 크기는 16으로 설정하였다.

3.2.3. Mask R-CNN

Mask R-CNN은 Faster R-CNN에 마스크 탐지를 위한 분기를 추가하여 탐지된 객체 내에서 객체 분할 결과를 추가로 탐지할 수 있는 모델(He et al., 2017)이다. Mask R-CNN 네트워크는 백본 네트워크를 거쳐 특징 맵을 생성하고, 생성한 특징 맵을 RPN을 통해 객체가 위치할 가능성이 높은 region of interest (RoI)를 생성한다. 이후 네트워크 헤드(network head)에서 고정된 크기로 변환된 RoI는 분류 및 바운딩 박스 회귀, mask prediction branch에 입력된다. 입력된 각각의 값은 특징 맵에 속한 객체를 예측하고, 객체가 예측 영역에서 잘 포함될 수 있도록 바운딩 박스의 위치를 수정한다. 마지막으로 mask prediction branch에서 분할 마스크를 생성하도록 한다. 모델 학습을 위한 최적화 알고리즘은 5e-4 학습률을 갖는 Adam최적화 알고리즘을 채택하였고, 배치 크기는 4로 설정하였다.

3.3. 제안 모델

본 연구에서는 고해상도 위성 영상 데이터에서 효율적인 야적퇴비 탐지를 위해 여러 모델을 혼합한 탐지 방법론을 제시한다. 구성은 Fig. 6과 같이 Faster R-CNN을 통한 객체를 탐지한 이후 U-Net을 통한 의미론적 분할을 진행하고, 수학적 형태학 기법을 통해 결과를 보정하였다. 여기서 객체 탐지의 결과를 U-Net의 입력 채널에 반영해주기 위해 5번째 밴드로 Faster R-CNN 모델의 결과를 이미지로 변환하여 추가하였다. 이를 위해 각 모델은 별개의 전처리 코드를 가지고 전처리 코드와 모델 학습 코드는 공동 작업환경을 가져 필요한 파일을 공유하도록 설계되었다. U-Net 모델의 피쳐에는 모든 값이 0인 밴드를 추가하였고, Faster R-CNN 모델이 야적퇴비로 예측한 바운딩 박스의 내부에 해당하는 픽셀만 100의 값으로 지정하여 U-Net 모델의 입력 이미지로 구성하였다. 100 값보다 더 작은 값이나 큰 값으로 할당하는 경우, 모델의 학습 성능에서 불안정한 가중치를 가지는 경향을 보였다. 이렇게 구성된 5개 채널의 이미지들을 전부 64 × 64 크기의 이미지로 분할하여 U-Net의 입력 데이터셋으로 사용하였다.

Figure 6. A combined model structure is proposed in this study.

3.4. 모델 평가 방법

본 연구에서는 각 야적퇴비 탐지 모델의 성능을 평가하기 위해 재현율, 정밀도, F1-점수(F1-Score), 혼동 행렬을 확인하였다. 재현율은 식(4)와 같이 실제로 참인 값에서 모델이 참으로 예측한 것에 대한 비율로, 탐지해야 할 야적퇴비 중에서 모델이 탐지한 야적퇴비의 비율을 나타낸다. 정밀도 식(5)는 모델이 참 값으로 예측한 것 중에서 실제로 참 값인 것에 대한 비율로, 모델이 탐지한 야적퇴비 중 실제 야적퇴비의 비율을 나타낸다. F1-Score는 식(6)과 같이 모델 성능의 정밀도와 재현율을 모두 고려하는 조화 평균으로 0과 1사이의 값을 가지며 1에 가까울수록 분류 성능이 높음을 보인다. 야적퇴비 탐지에 대한 모델에 대한 성능을 확인하기 위해 픽셀 기반의 혼동행렬을 사용한 정량적 분석을 진행하였다. 이 방식은 픽셀에 따른 정확도를 의미해 의미론적 분할 기법을 평가할 때 픽셀 별 분류로 접근하는 방법이다. 이를 통해 다른 기법에서 사용되는 평가지표를 확인하여 종합적인 평가를 진행할 수 있다.

Recall=TPTP+FN
Precision=TPTP+FP
F1Score=2×Precision×RecallPrecision+Recall

본 연구의 야적퇴비 탐지에서는 야적퇴비에 해당하는 픽셀 대비야적퇴비에 해당하지 않는 픽셀이 큰 비율로 가지고 있기 때문에 클래스에 대한 F1-Score를 평균을 도출하는 과정에서 가중 평균이 아닌 일반 산술평균을 통해 값을 도출하는 매크로(macro) 평균 방식을 사용했다. 가중 평균을 통해 평가를 진행할 경우, 야적퇴비가 아닌 픽셀에 대한 가중치가 높게 상승하는 현상이 발생해 정상적인 탐지 결과 대비 높은 점수를 도출하는 문제를 보였다. 이러한 문제를 최소화하기 위하여 매크로 평균을 통해 표준편차를 높여 가시성을 높이고, 간접적으로 재현율에 대한 가중치를 적용하여 평가를 진행하였다.

의미론적 분할 기법을 평가할 때 자주 사용되는 mean Intersectionover-Union (mIoU) 지표도 사용하였다. IoU는 식(7)과 같이 하나의 클래스에서 예측된 맵과 실제 맵의 겹치는 영역이 두 영역의 합으로 나눈 값을 의미한다. IoU를 클래스 별로 나누어 산술평균을 내면 식(8)와 같이mIoU를 도출할 수 있다. mIoU는 클래스에 따라 나눈 IoU 값으로 클래스의 비율에 따라 성능을 비교할 수 있다.

IoU=MaskPredictionMaskPrediction
mIoU=IoUN(The number of classes)

4. 야적퇴비 탐지 결과

4.1. 야적퇴비 탐지에 대한 정성적 평가

본 연구에서 사용한 객체 기반의 야적퇴비 탐지 모델의 결과는 Fig. 7과 같다. Fig. 7에서 제안 모델은 Faster R-CNN, U-Net과 수학적 형태학 연산을 적용한 결과를 의미한다. Fig. 7의 a와 b의 경우를 볼때 Faster R-CNN을 통한 객체 탐지에서는 야적퇴비 탐지를 바운딩 박스로만 가능한 데에 반해, 결합 모델에서는 의미론적 분할 기법 기반 모델을 한 차례 적용함으로서 야적퇴비의 형태를 탐지하는 것이 가능하였다. 입력으로 사용된 패치의 가장자리 부분을 야적퇴비로 오탐지하는 경향이 일부 패치에서 확인되는데, 이는 256의 배수 크기의 객체 탐지 결과를 U-Net의 입력값으로 넣어줄 때, 야적퇴비의 위치를 고려하지 않고 64 × 64 크기로 분할하여 가장자리 부분에 야적퇴비가 많아지게 되어 이런 미미한 경향을 보이도록 학습된 것으로 추측된다.

Figure 7. Result image of each object-based model. (a–c) Cases in which the proposed model showed a shape close to the mask compared to the Faster R-CNN model. (d) Cases of reduced performance due to shadow segmentation error.

Fig. 7(c)의 경우에서 2개의 야적퇴비 객체를 제외하고 이미지상 비닐 천막으로 오인될 수 있는 밝은 하늘색 부분을 객체 탐지 기법 기반 모델의 결과에서 오탐지 한 것을 확인할 수 있다. 하지만 위 결과를 결합 모델에서 의미론적 분할 기법 기반 모델을 추가로 적용함으로써 오탐지를 완벽하게 학습하여 야적퇴비가 아닌 픽셀로 정탐지하는 결과를 보였다. Fig. 7(d)의 경우에서는 비교적 밝기가 낮은 이미지로서 객체 탐지 기법 기반 모델에서 바운딩 박스로 예측한 야적퇴비를 형태에 맞게 잘 탐지하였지만, 우측 건물의 그림자를 야적퇴비로 오탐지하는 결과를 보였다. 이러한 결과들을 보아 본 연구에서 제안한 객체 탐지 기법 기반 모델과 의미론적 분할 기법 기반 모델의 결합 모델은 맵 상의 객체단위로 소량 존재하는 야적퇴비 탐지에 대해 기존의 개별 모델 대비 성능을 향상시킬 수 있다고 확인하였다.

4.2. 야적퇴비 탐지에 대한 정량적 평가

U-Net, Faster R-CNN, 본 연구에서 제안한 혼합 모델, Mask R-CNN 순으로 성능을 Table 1에서 평가하였다. Table 1에서 F는 야적퇴비에 해당하지 않는 픽셀을 나타내고 T는 야적퇴비에 해당하는 픽셀을 의미한다. 야적퇴비 외의 클래스에서는 모든 픽셀 정확도가 0.95를 넘어 큰 의미를 두고 비교하기가 어려운 값을 가졌다. 하지만 야적퇴비에 해당하는 F1-Score에서는 U-Net 모델이 0.03, Faster R-CNN 모델이 0.45, Mask R-CNN 모델이 0.30, 혼합 모델이 가장 높은 0.56 값을 가졌다. 전체적인 탐지 성능을 볼 수 있는 mIoU는 의미론적 분할 기법 기반 모델인 U-Net과Mask R-CNN대비 객체 탐지 기반 모델들의 성능이 더 높게 확인되었다. 의미론적 분할 기법 기반인 U-Net 모델과 Mask R-CNN 모델 중에서는 객체를 탐지하여 의미론적 분할을 진행하는 Mask R-CNN 모델이 0.57로 더 높은 성능을 보였다. 객체 탐지 기반 모델인 Faster R-CNN 모델은 0.63으로 혼합모델은 0.68로 본 논문에서 제안하는 모델이 매크로 평균과 mIoU 수치가 가장 우수하게 도출되었다.

Table 1 . Score of each model.

TitlePrecisionRecallF1-scoreMacroAvgIoUmIoU
U-Net+MorphologyF0.950.990.970.500.940.48
T0.110.020.030.02
Faster R-CNN F0.990.980.990.720.980.63
T0.370.570.450.29
Proposal modelF0.980.980.980.770.960.68
T0.610.520.560.39
Mask R-CNNF0.990.970.980.640.960.57
T0.200.600.300.17

5. 토의

의미론적 분할 기법 기반 모델을 통한 야적퇴비 탐지를 진행한 결과에 대해 수학적 형태학 후처리 보정을 진행하였다. Fig. 5의 의미론적 분할 기법 기반 모델의 결과는 야적퇴비 탐지에 있어 뭉쳐있는 픽셀과 같은 객체 단위가 아닌 개별의 탐지를 진행하여 올바른 야적퇴비에 대해서도 빈 픽셀을 결과로 예측한다. 이로 인해 정성적 평가에서는 올바른 야적퇴비 탐지를 진행하여도 수치상 성능이 좋지 못하게 확인되는 문제점이 존재하였다. 수학적 형태학 후처리의 닫힘 연산을 통해 결과를 보정하여 해당 결과를 보완하였고, 수치상 성능이 소폭 향상하는 결과를 확인하였다. 하지만 닫힘 연산으로 인해 의미론적 분할 기법 기반 모델의 오탐지 결과에 지장을 주어 전체적인 야적퇴비 탐지 성능이 떨어지는 문제점이 있다.

본 연구에 사용된 데이터셋에서의 야적퇴비는 넓은 지상 이미지데이터 상에서 소수의 픽셀에 해당하고, 주로 하나의 객체 단위로 특정한 지점에 픽셀이 모여있는 특성을 보인다. 이러한 특성은 의미론적 분할 기법 기반의 모델 대비 객체 단위를 쉽게 탐지할 수 있는 객체 탐지 기법 기반의 모델이 야적퇴비 탐지에 대해 더 높은 성능을 보인 이유 중 하나이다. 객체 탐지를 진행하고 별도의 의미 분할 분기를 추가한 객체 분할 기법 기반의 모델 또한 높은 성능을 보이는 경향을 가진다. 객체 탐지 혹은 객체 분할 기법을 통해 야적퇴비를 탐지하면 정밀도 대비 재현율이 높게 나오는 특성을 보이는데, 이는 야적퇴비를 다소 과추정한다는 것을 의미한다. 여기서 2차적으로 U-Net을 통한 의미론적 분할을 진행하여 결과를 확인하면 야적퇴비에 해당하는 클래스의 평가의 재현율이 소폭 감소하지만, 정밀도가 2배 정도 상승하는 효과를 보인다. 이러한 특징을 조합하여 본 연구에서 제안하는 모델은 의미론적 분할 기법과 객체 분할 기법 기반 모델들 대비 각 클래스의 F1-Score와 IoU 값이 높아져 총 성능 평가가 높아지는 결과를 보인다고 판단하였다.

기존 야적퇴비 탐지에 관한 연구는 UAV 데이터 기반으로 진행되었다. UAV의 영상 데이터는 위성 영상에서 픽셀 크기에 해당하는 ground sample distance의 값이 10 cm이하의 값을 가진다. 본 연구에 사용된 고해상도 위성 영상의 해상도는 0.7 m로 UAV의 영상 해상도보다 위성 영상의 해상도가 낮다는 한계로 인하여 위성 영상을 사용한 야적퇴비 탐지에 대한 성능은 UAV의 영상을 사용한 야적퇴비 탐지 성능보다 낮다는 한계점이 존재한다. 하지만 UAV를 통한 데이터셋의 확보는 드론의 비행과 관리가 필요하다. 이는 상용중인 위성을 사용해 주기적으로 데이터셋을 확보할 수 있는 위성 영상 대비 많은 비용이 든다. 따라서 넓은 범위의 지역을 관리하기 위해서는 위성 영상을 사용한 야적퇴비 탐지가 효율적이고, 일정 지점에 대한 정확도 높은 야적퇴비 탐지를 위해서는 UAV를 통한 야적퇴비 탐지가 효율적일 수 있다.

6. 결론

본 연구에서는 고해상도 위성 영상 기반 야적퇴비 탐지에서 객체 탐지와 의미론적 분할기법 모델의 조합별 성능과 객체 분할기법 모델의 성능을 비교하였다. 위성 영상은 청색, 녹색, 적색, NIR 총 4개의 밴드로 이루어진 영상을 사용하였다. 야적퇴비 탐지를 위해 U-Net, Faster R-CNN, Mask R-CNN 모델을 조합하여 결과를 확인하였다. 본 논문에서 추가로 제시한 혼합모델에서는 Faster R-CNN을 통한 야적퇴비 탐지를 진행하고, 결과에 해당하는 마스크를 5번째 채널에 추가하여 U-Net을 통한 의미론적 분할과 산술학적 후처리를 진행하여 결과를 확인하였다. 모델의 평가는 픽셀 정확도를 통한 F1-Score와 mIoU를 통해 진행하였다. 야적퇴비 탐지에 있어 의미론적 분할을 목적으로 둔 U-Net 모델과Mask R-CNN대비 객체 탐지를 목적으로 둔 Faster R-CNN 기반 모델이 매크로 정확도 F1-Score와 mIoU에 있어 높은 성능을 보였고, 그중 혼합모델이 매크로 정확도 0.77과 mIoU 0.675로 가장 높은 값을 보였다. 이를 통해 고해상도 위성 영상을 통한 야적퇴비 탐지가 가능하고, 탐지 목적에 따라 모델의 결합을 통해 성능 향상을 도모할 수 있음을 확인하였다. 향후 방법론 강화와 위성 영상의 해상도 강화를 통해 야적퇴비 탐지 성능이 향상될 것으로 기대된다.

또한 UAV 영상 대비 야적퇴비 탐지에 있어 비용적 장점을 가질 수 있음을 확인하였다. 야적퇴비는 시기에 따라 집중적으로 관리가 필요한 때가 존재하는데, 야적퇴비를 사용하기 이전에 농경지 근처로 나누어 배치하였을 때에 해당한다. 따라서 위성 영상을 통한 야적퇴비 탐지는 저렴한 비용과 주기적인 데이터를 통해 시기별 불법 적재 야적퇴비의 관찰을 진행하는 것이 효율적이라고 판단된다. 이러한 야적퇴비 중에서 의심이 되는 경우가 발생하거나 집중 관리가 필요한 경우에 UAV를 통한 야적퇴비 탐지가 효율적일 것이다. 그리고 인 공위성과 UAV 고해상도 영상을 통한 야적퇴비 탐지는 상대적으로 넓은 공간에서 빠르고 효율적인 야적퇴비 탐지를 가능할 것으로 향후 연구에서 기대해볼 수 있을 것이다.

사사

이 논문은 정부(과학기술정보통신부 및 환경부)의 재원으로 한국연구재단의 지원(과제번호: 2022R1C1C1013225)과 국립환경과학원의 지원을 받았습니다.

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

Fig 1.

Figure 1.Study area.
Korean Journal of Remote Sensing 2024; 40: 1409-1419https://doi.org/10.7780/kjrs.2024.40.6.3.3

Fig 2.

Figure 2.This is a field compost image: (a) unmanned aerial vehicle, (b) visible bands of KOMPSAT-3, (c) labeled, and (d) near-infrared band of KOMPSAT-3.
Korean Journal of Remote Sensing 2024; 40: 1409-1419https://doi.org/10.7780/kjrs.2024.40.6.3.3

Fig 3.

Figure 3.The process of making a field compost mask including labeling.
Korean Journal of Remote Sensing 2024; 40: 1409-1419https://doi.org/10.7780/kjrs.2024.40.6.3.3

Fig 4.

Figure 4.Data flow chart.
Korean Journal of Remote Sensing 2024; 40: 1409-1419https://doi.org/10.7780/kjrs.2024.40.6.3.3

Fig 5.

Figure 5.The predicted images between the original and applied morphology method to enhance the detection accuracy of field compost.
Korean Journal of Remote Sensing 2024; 40: 1409-1419https://doi.org/10.7780/kjrs.2024.40.6.3.3

Fig 6.

Figure 6.A combined model structure is proposed in this study.
Korean Journal of Remote Sensing 2024; 40: 1409-1419https://doi.org/10.7780/kjrs.2024.40.6.3.3

Fig 7.

Figure 7.Result image of each object-based model. (a–c) Cases in which the proposed model showed a shape close to the mask compared to the Faster R-CNN model. (d) Cases of reduced performance due to shadow segmentation error.
Korean Journal of Remote Sensing 2024; 40: 1409-1419https://doi.org/10.7780/kjrs.2024.40.6.3.3

Table 1 . Score of each model.

TitlePrecisionRecallF1-scoreMacroAvgIoUmIoU
U-Net+MorphologyF0.950.990.970.500.940.48
T0.110.020.030.02
Faster R-CNN F0.990.980.990.720.980.63
T0.370.570.450.29
Proposal modelF0.980.980.980.770.960.68
T0.610.520.560.39
Mask R-CNNF0.990.970.980.640.960.57
T0.200.600.300.17

References

  1. Choi, J. K., Son, J. G., Yoon, K. S., Lee, H. J., and Kim, Y. J., 2012. Runoff characteristics in paddy field using cow manure compost fertilizer. Journal of the Korean Society of Agricultural Engineers, 54(3), 29-36. https://doi.org/10.5389/KSAE.2012.54.3.029
  2. Guo, W., Yang, W., Zhang, H., and Hua, G., 2018. Geospatial object detection in high resolution satellite images based on multi-scale convolutional neural network. Remote Sensing, 10(1), 131. https://doi.org/10.3390/rs10010131
  3. He, K., Gkioxari, G., Dollár, P., and Girshick, R., 2017. Mask R-CNN. In Proceedings of the 2017 IEEE International Conference on Computer Vision, Venice, Italy, Oct. 22-29, pp. 2961-2969. https://doi.org/10.1109/ICCV.2017.322
  4. He, K., Zhang, X., Ren, S., and Sun, J., 2016. Deep residual learning for image recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, June 27-30, pp. 770-778. https://doi.org/10.1109/CVPR.2016.90
  5. Ji, S., Zhang, C., Xu, A., Shi, Y., and Duan, Y., 2018. 3D convolutional neural networks for crop classification with multi-temporal remote sensing images. Remote Sensing, 10(1), 75. https://doi.org/10.3390/rs10010075
  6. Kim, N. K., Park, M. S., Jeong, M. J., Hwang, D. H., and Yoon, H. J., 2021. A study on field compost detection by using unmanned aerialvehicle image and semantic segmentation technique based deep learning. Korean Journal of Remote Sensing, 37(3), 367-378. https://doi.org/10.7780/kjrs.2021.37.3.1
  7. Kim, T. G., Park, G. U., Song, B. G., Kim, S. H., Jeong, D. E., and Park, K. H., 2024. Detection of compost piles in agricultural area using unmanned aerial vehicle imagery and artificial intelligence. Journal of the Korean Society for Environmental Technology, 25(1), 20-30. https://doi.org/10.26511/JKSET.25.1.3
  8. Kingma, D. P., and Ba, J. L., 2014. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980. https://doi.org/10.48550/arXiv.1412.6980
  9. Krizhevsky, A., Sutskever, I., and Hinton, G. E., 2012. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 25.
  10. Kussul, N., Lavreniuk, M., Skakun, S., and Shelestov, A., 2017. Deep learning classification of land cover and crop types using remote sensing data. IEEE Geoscience and Remote Sensing Letters, 14(5), 778-782. https://doi.org/10.1109/LGRS.2017.2681128
  11. Ok, A. O., Akar, O., and Gungor, O., 2012. Evaluation of random forest method for agricultural crop classification. European Journal of Remote Sensing, 45(1), 421-432. https://doi.org/10.5721/EuJRS20124535
  12. Park, G., Park, K., and Song, B., 2020. Spatio-temporal change monitoring of outside manure piles using unmanned aerial vehicle images. Drones, 5(1), 1. https://doi.org/10.3390/drones5010001
  13. Park, M. S., Kim, H. M., Kim, Y. M., Bak, S. H., Kim, T. Y., and Jang, S. W., 2024. Detection and grading of compost heap using UAV and deep learning. Korean Journal of Remote Sensing, 40(1), 33-43. https://doi.org/10.7780/kjrs.2024.40.1.4
  14. Ren, S., He, K., Girshick, R., and Sun, J., 2016. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 1137-1149. https://doi.org/10.1109/TPAMI.2016.2577031
  15. Ren, Y., Zhu, C., and Xiao, S., 2018. Small object detection in optical remote sensing images via modified faster R-CNN. Applied Sciences, 8(5), 813. https://doi.org/10.3390/app8050813
  16. Ronneberger, O., Fischer, P., and Brox, T., 2015. U-Net: Convolutional networks for biomedical image segmentation. In: Navab, N., Hornegger, J., Wells, W., Frangi, A., (eds.), Medical image computing and computer-assisted intervention -MICCAI 2015, Springer, pp. 234-241. https://doi.org/10.1007/978-3-319-24574-4_28
  17. Sahin, H. M., Miftahushudur, T., Grieve, B., and Yin, H., 2023. Segmentation of weeds and crops using multispectral imaging and CRF-enhanced U-Net. Computers and Electronics in Agriculture, 211, 107956. https://doi.org/10.1016/j.compag.2023.107956
  18. Sharpley, A., and Moyer, B., 2000. Phosphorus forms in manure and compost and their release during simulated rainfall. Journal of Environmental Quality, 29(5), 1462-1469. https://doi.org/10.2134/jeq2000.00472425002900050012x
  19. Shorten, C., and Khoshgoftaar, T. M., 2019. A survey on image data augmentation for deep learning. Journal of Big Data, 6(1), 1-48. https://doi.org/10.1186/s40537-019-0197-0
  20. Song, B., and Park, K., 2021. Comparison of outdoor compost pile detection using unmanned aerial vehicle images and various machine learning techniques. Drones, 5(2), 31. https://doi.org/10.3390/drones5020031
  21. Wang, Y., Li, S., Teng, F., Lin, Y., Wang, M., and Cai, H., 2022. Improved mask R-CNN for rural building roof type recognition from UAV high-resolution images: A case study in Hunan province, China. Remote Sensing, 14(2), 265. https://doi.org/10.3390/rs14020265
  22. Wang, Z., Bai, L., Song, G., Zhang, Y., Zhu, M., Zhao, M., Chen, L., and Wang, M., 2023. Optimized faster R-CNN for oil wells detection from high-resolution remote sensing images. International Journal of Remote Sensing, 44(22), 6897-6928. https://doi.org/10.1080/01431161.2023.2275322
  23. Yan, D., Li, G., Li, X., Zhang, H., Lei, H., Lu, K., Cheng, M., and Zhu, F., 2021. An improved Faster R-CNN method to detect tailings ponds from high-resolution remote sensing images. Remote Sensing, 13(11), 2052. https://doi.org/10.3390/rs13112052
  24. Zhong, L., Hu, L., and Zhou, H., 2019. Deep learning based multitemporal crop classification. Remote Sensing of Environment, 221, 430-443. https://doi.org/10.1016/j.rse.2018.11.032
KSRS
December 2024 Vol. 40, No.6, pp. 1005-989

Metrics

Share

  • line

Related Articles

Korean Journal of Remote Sensing