Research Article

Split Viewer

Korean J. Remote Sens. 2024; 40(5): 455-464

Published online: October 31, 2024

https://doi.org/10.7780/kjrs.2024.40.5.1.4

© Korean Society of Remote Sensing

딥러닝 기법을 이용한 연안 양식 시설 탐지의 정확도 평가

김서진1, 정한철2*, 황도현3

1연세대학교 지구시스템과학과 석/박사통합과정생
2연세대학교 지구시스템과학과 부교수
3연세대학교 지구시스템과학연구소 박사후연구원

Received: September 30, 2024; Revised: October 18, 2024; Accepted: October 21, 2024

Accuracy Assessment of Coastal Aquaculture Facility Detection Using Deep Learning Techniques

Seo Jin Kim1 , Hahn Chul Jung2* , Do-Hyun Hwang3

1Combined MS/PhD Student, Department of Earth System Science, Yonsei University, Seoul, Republic of Korea
2Associate Professor, Department of Earth System Science, Yonsei University, Seoul, Republic of Korea
3Postdoctoral Researcher, Research Center for Earth System Sciences, Yonsei University, Seoul, Republic of Korea

Correspondence to : Hahn Chul Jung
E-mail: hahnchul.jung@yonsei.ac.kr

Received: September 30, 2024; Revised: October 18, 2024; Accepted: October 21, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Due to declining fish catches caused by rapid climate change and advancements in aquaculture technology, the global demand for aquaculture products is continuously increasing. However, since the reckless expansion of facilities adversely affects the coastal ecosystem and fish stock prices, managing aquaculture facilities through periodic coastal environment monitoring is essential. This study analyzed the detection accuracy of shellfish aquaculture facilities in Gyeongsangnam-do using Sentinel-2 optical imageries and deep learning-based detection methodology. The DeepLabv3+, ResUNet++, and Attention U-Net networks were applied, and as a result, Attention U-Net showed the best detection performance with F1 score of 0.8708 and Intersection over Union 0.7708. The detection methodology presented in this study allows periodic observation of aquaculture facilities affected by sea currents and suspending matters. Also, it may apply to detecting various aquaculture species, showing high potential for expansion to wider areas. Therefore, the aquaculture facility information derived through this study is expected to be useful for future policy decisions regarding marine spatial utilization.

Keywords Sentinel-2, Deep learning, Aquaculture facility detection

기후 변화로 인한 이상 기온 현상으로 어획량이 감소함에 따라 양식 산업의 중요성이 점차 증가하고 있다. 대한민국은 반도에 위치하며 복잡한 해안선으로 인해 다양한 연안 환경을 보유하고 있어 계절에 따라 다양한 양식 품종을 생산할 수 있는 지리적 이점을 가지고 있다. 이러한 조건을 바탕으로 대한민국의 양식 산업은 패류(굴, 전복, 홍합 등)와 해조류(김, 다시마, 파래 등) 생산을 중심으로 지속적으로 성장하여 어느덧 수산업의 핵심 산업으로 자리매김하였다.

그러나 최근 양식 생산량 증가에 따른 무분별한 시설물 설치로 인해 과밀집 현상이 발생하고 있다. 이는 연안 생태계를 위협하고 내수 가격 조정에도 부정적인 영향을 미치므로 지속적인 연안 환경 모니터링을 통한 양식시설물 운영 현황 파악 및 시설량 추정이 필요한 실정이다. 이러한 배경에서 Kang and Lee (2004)는 지역별 김 양식시설물 특성을 고려하여 면허시설 대비 실제 시설 현황을 조사하였고, Jo (2011)는 고해상도 항공 영상을 활용하여 김, 전복, 어류 양식장 시설량 판독을 수행하였다. 두 연구 모두 양식시설물의 구조적 특징을 기반으로 시설량을 산출하여 초과 시설 및 면허 외 양식시설물 현황에 대한 정보를 제공하였다. 그러나 이러한 연구들은 전문가의 육안 판독에 의존하기 때문에 계절 및 조류의 변화에 따라 급격하게 변화하는 연안 양식시설물을 주기적으로 관측하기 어려우며, 고해상도 위성 및 항공 자료 수집에도 상당한 비용이 소요된다는 한계가 있다.

이러한 육안 판독의 한계를 극복하기 위한 양식시설물 탐지 연구방법이 제시되었으며, 크게 전통적인 임계값 기반 연구와 머신러닝 및 딥러닝을 활용한 연구로 구분할 수 있다. Jeong (2005)은 IKONOS와 SPOT-5 위성 자료에 digital number 구분 및 식생지수 추출 방법을 적용하여 김 양식시설물 탐지 가능성을 보였다. Yang and Park (2006)은 SPOT-5 위성 자료에 Otsu 알고리즘과 Canny Edge 탐지 기법을 활용하여 대한민국 연안 김 양식시설물을 탐지했고, 면허 시설량과의 비교를 통해 양식 시설 현황을 분석했다. Jeong (2023)은 Sentinel-2 위성 자료에 Intensity Hue Saturation 변환 기법과 고주파 통과 필터링을 적용하여 경상남도의 양식시설물을 탐지하였다. 또한 Hwang and Jung (2023)은 양식시설물 탐지를 위해 Sentinel-1 위성 자료와 Otsu 기법을 사용하여 시설물과 바다의 후방 산란 계수 차이를 통한 탐지 방법론을 제시했다. 그러나 임계값 기반 탐지 기법은 복잡한 연안 환경에 적합하지 않으며, 다양한 양식 품종과 시설 종류에 따른 분광 특성 변화를 충분히 반영하지 못하기에 넓은 지역에 적용하기 어렵다.

인공지능의 발달과 함께 머신러닝 및 딥러닝 기법을 활용한 양식시설물 탐지 연구도 계속되고 있다. Kim et al. (2016)은 KOMPSAT-3 위성 자료와 인공신경망 알고리즘을 사용하여 거제 및 완도 양식시설물 탐지 프로토타입을 구축했으며, Lee and Choi (2019)는 합성곱 신경망(convolutional neural network, CNN) 기반 객체 탐지 알고리즘인 Faster-RCNN과 unmanned aerial vehicle (UAV) 영상을 활용하여 양식시설물 탐지 연구를 진행했다(Ren et al., 2015). 최근 다양한 분야에서 성능을 입증한 딥러닝 이미지 분할 네트워크는 특히 객체의 위치 및 면적 탐지에 있어 우수한 성능을 보이고 있다. 그러나 복잡한 연안 환경과 양식시설물 탐지에 영향을 주는 요인들에 대한 연구가 미흡하여 알고리즘 적용에 어려움을 겪고 있다. 딥러닝 네트워크는 다양한 입력 자료와 네트워크 구조를 기반으로 효과적인 탐지가 가능하며, 데이터 추가 수집을 통한 연구 지역 확장에도 용이하다는 장점이 있다. 이러한 특성은 연안 환경에서의 활용 가능성이 높기 때문에, 알고리즘 적용에 대한 추가적인 연구가 필요하다.

따라서 본 연구에서는 주기적인 관측과 탐지 정확도 향상을 위해 Sentinel-2 광학 영상과 딥러닝 이미지 분할 네트워크를 활용하여 경상남도 지역, 특히 통영과 거제를 중심으로 한 패류 양식시설물을 탐지했다. 수동 디지타이징(manual digitizing) 방식으로 제작한 정답 마스크를 딥러닝 학습에 사용하였으며, 탐지 성능 평가를 위해 Intersection over Union (IoU) 및 F1 score 등을 정량적 지표로 활용했다. 탐지 결과는 딥러닝 네트워크 구조에 따라 분석했으며, 결과적으로 연안 양식시설물 탐지에 효과적인 탐지 방법론을 제시했다.

2.1. 연구 지역

본 연구는 Fig. 1에 표시된 통영과 거제를 중심으로 한 경상남도 지역의 패류 양식시설물을 대상으로 했다. 경상남도 지역의 패류 양식 시설은 과밀집 양식으로 인한 연안 환경 오염 개선 요구가 계속됐지만, 광범위한 지역에 적용 가능한 탐지 기법에 대한 연구가 부족하여 양식 현황 파악에 어려움을 겪고 있다. 특히 Fig. 1(a)의 진동만은 여름철 육지 기원 영양염류의 유입으로 인한 빈산소 및 적조 현상으로 인해 패류 양식 생산량이 감소하고 있으며(Jeong and Cho, 2003), Fig. 1(b)의 고성만과 Fig. 1(c)의 거제한산만 굴 양식장 역시 지역 생태계에 부하를 줄 만큼 시설물이 과다 설치되어 있어 생산량 저감이 시급한 상황이다(Lee et al., 2011; 2016). 따라서 패류 양식시설물 관측을 위해 굴을 비롯한 패류가 생장 및 수확되는 2020년 10월 1일부터 2021년 4월 30일까지를 연구 기간으로 설정하여 해당 지역의 시설물 탐지를 수행하였다.

Fig. 1. The study area is a coastal region in Gyeongsangnam-do, centered on Tongyeong and Geoje, where shellfish aquaculture facilities are located. Licensed aquaculture facilities are highlighted in orange. The red boxes indicate areas with concentrated aquaculture facilities in (a) Jindong Bay, (b) Goseong Bay, and (c) Geoje-Hansan Bay.

2.2. 위성 자료

본 연구에서는 10 m 공간 해상도를 가진 Sentinel-2A/BMSI Level-2A Surface Reflectance 자료를 사용했다. 위성 자료는 구글 클라우드 기반 플랫폼인 구글 어스 엔진(Google Earth Engine, GEE)을 활용하여 수집 및 전처리했다(Gorelick et al., 2017). Sentinel-2 위성 자료는 무료로 제공되며, 재방문 주기가 5일로 연안을 주기적으로 모니터링 하는데 적합하다. 또한 Sentinel-2 위성 자료는 총 13개의 밴드로 구성되며, 각 밴드를 통해 지표의 화학적 구성에 따른 분광 특성을 분석할 수 있다는 장점이 있다. 그러나 구름을 비롯한 기상 현상에 민감하므로, 구름의 영향이 10 % 미만인 영상을 선별하고 구름 관련 영상 품질 정보를 제공하는 quality assurance 60 밴드를 이용하여 구름을 마스킹했다.

본 연구의 양식시설물 탐지 기법은 정규수분지수(normalized difference water index, NDWI) 및 정규클로로필지수(normalized difference chlorophyll index, NDCI)에 기반한다(Gao, 1996; Mishra and Mishra, 2012). 두 지수는 각각 식(1, 2)를 통해 계산된다.

NDWI=GreenNIRGreen+NIR NDCI=Red Edge 1RedRed Edge 1+Red

NDWI는 수분함량에 따른 분광특성 변화를 통한 수체 구분에 활용될 수 있기 때문에, 수체에 둘러싸인 시설물 판독에 효과적이다(McFEETERS, 1996). 그러나 시설물이 수체에 잠기거나 시설물 내외부에 수체가 존재할 경우 정규수분지수만을 사용하여 시설물의 경계를 명확하게 구분하기 어렵다. NDCI 지수는 클로로필 a의 농도 및 영양 염류를 비롯한 유기물과 강한 상관관계를 가지며(Mishra and Mishra, 2012), 시설물 내외부의 유기물과 부유 물질의 농도 차이를 바탕으로 NDWI만으로 관측이 어려운 시설물 탐지에 도움이 될 것이라고 판단했다(McFEETERS, 1996). 또한 패류의 껍질을 주로 구성하는 탄산 칼슘은 Red 및 near-infrared (NIR) 밴드에 민감하기 때문에 이들을 추가로 사용하여 NDWI, NDCI, Red, 그리고 NIR을 입력 자료로 활용했다(Gloria, 2013). GEE는 연구 지역 내에 중첩되는 모든 위성 영상을 수집하기 때문에, 결과적으로 총 232장의 위성 영상을 수집했다. 수집된 영상은 구름 및 이동하는 선박의 영향을 최소화하기 위해 각 픽셀별로 중앙값 연산을 수행하여 연구에 사용했다.

2.3. 연구 방법

2.3.1. 학습 데이터 구축

연구 흐름도는 Fig. 2와 같다. 딥러닝 학습 데이터 구축에는 Sentinel Application Platform (SNAP)과 Pytorch를 활용했다. SNAP은 지구 관측 데이터 처리 및 분석에 활용되는 오픈 소스 영상 처리 소프트웨어로, 본 연구에서는 수동 디지타이징를 통한 학습 데이터 구축에 사용됐다. 해양수산부에서 제공하는 어장정보도에는 양식시설물의 위치, 양식 품종, 면허 정보 등과 같은 정보가 담겨 있어 딥러닝 네트워크 학습을 위한 정답 마스크 구축에 참고했다. 면허지 외에 위치한 양식시설물은 고해상도 구글 어스 영상을 활용하여 수동 디지타이징 했으며, 총 1566개의 패류 양식시설물 객체를 마스킹(masking)하여 학습에 활용했다.

Fig. 2. Study flow chart.

수동 디지타이징된 정답 마스크 자료와 GEE로 수집한 위성 자료는 딥러닝 프레임워크인 Pytorch를 사용하여 네트워크 학습을 위한 입력 자료 형태로 변환했다. 육지 마스킹을 위한 해안선 데이터는 연구 지역의 복잡한 연안 지형을 고려하기 위해 다음과 같은 방법으로 구축했다. 국토지리정보원에서 제공하는 해안선 shape 파일과 구글어스의 영상을 참조했으며, 이를 통해 연구 지역의 복잡한 해안 지형을 반영한 해안선 데이터를 구축하고 육지 마스킹에 활용했다. 위성 영상 및 지수는 분포가 길고 넓으며, 픽셀값의 범위가 서로 달라 학습 과정을 원활하게 하기 위해 정규화 과정을 거쳤다.

이후, 정답 마스크와 정규화된 영상을 224 × 224 크기의 이미지 패치로 분할했다. 본 연구에는 양식시설물이 위치한 지역의 데이터 전부와 양식시설물이 위치하지 않는 지역의 데이터 일부가 샘플링되어 사용됐다. 이는 hard negative mining 기법으로, 시설물과 비시설물의 특징 정보를 균형있게 학습할 수 있어 딥러닝 네트워크의 전반적인 탐지 정확도 향상에 효과가 있다(Kim et al., 2021). 이러한 과정으로 얻은 데이터는 성능 평가를 위해 학습(70%), 검증(20%) 그리고 평가(10%) 데이터로 분리했고, 데이터 증강 기법으로 영상 회전과 상하좌우 반전을 수행하여 다양한 상황에서의 특징 정보를 학습할 수 있도록 했다. 이후, 이미지 경계 부분의 탐지 정확도 향상을 위해 상하좌우에 16 픽셀의 제로 패딩을 적용하여 최종적으로 256 × 256 크기의 데이터를 딥러닝 네트워크 학습에 사용했다.

2.3.2. 양식시설물 탐지 딥러닝 네트워크

본 연구는 패류 양식시설물 탐지에 적용하기 위한 다양한 이미지 분할 딥러닝 네트워크를 탐색했다. 연안 양식시설물은 조류 및 육상 기원 부유 물질의 영향을 받으므로, 분광 특성과 객체의 위치 정보를 함께 고려할 수 있는 CNN 기반 네트워크 구조가 시설물 탐지에 적합하다. 따라서 본 연구에서는 CNN 기반 이미지 분할 네트워크인 DeepLabv3+, Attention U-Net 그리고 ResUNet++를 양식시설물 탐지에 적용했다. 이들은 전통적인 이미지 분할 네트워크인 U-Net의 구조를 따르며, 입력 자료의 특징 정보를 압축하는 인코더(encoder)와 압축된 정보를 원래 형태로 복원하는 디코더(decoder)를 거쳐 객체를 분할한다(Ronneberger et al., 2015). 각 딥러닝 네트워크는 공통적인 구조를 기반으로 하지만 네트워크 구조에 따른 특징 추출 방법의 장단점이 뚜렷하기에 이를 기반으로 탐지 정확도를 비교 분석했다.

Fig. 3의 DeepLabv3+ 네트워크는 넓은 수용 영역에서의 특징 학습을 위해 Atrous Spatial Pyramid Pooling (ASPP) 모듈을 도입하고, 연산 효율 향상을 위해 depthwise separable convolution을 사용하여 탐지 성능이 우수하다. 또한 학습 과정에서 여러 스케일의 특징 정보를 활용하여 다양한 크기를 가진 객체 탐지 성능이 향상된 네트워크를 설계했다(Chen et al., 2018). Attention U-Net 네트워크는 Fig. 4와 같으며 Attention Gates 모듈을 사용하여 탐지에 핵심적인 정보를 집중적으로 학습한다. Attention Gates는 인코딩된 정보와 디코딩된 정보를 결합하는 과정에서 픽셀별 중요도를 계산하는 모듈로, 기본적인 CNN 네트워크와 함께 사용되어 계산 비용이 효율적이고 작은 객체탐지 성능이 우수한 네트워크를 구축하는데에 활용되었다(Oktay et al., 2018). ResUNet++의 구조는 Fig. 5와 같다. ResUNet++는 잔차 연결을 기반으로 한 네트워크이며 DeepLabv3+와 Attention U-Net에서 사용한 기법이 일부 적용된다. ASPP, Attention 그리고 잔차 연결 모듈이 압축 및 재조정 모듈과 함께 사용됐으며, 이를 통해 보다 정교한 객체 탐지가 가능하다는 장점이 있다(Jha et al., 2019).

Fig. 3. DeepLabV3+ network structure (Chen et al., 2018).
Fig. 4. Attention U-Net network structure (Oktay et al., 2018).
Fig. 5. ResUNet++ network structure (Jha et al., 2019).

본 연구에서 네트워크의 학습 최적화를 위해 조정한 초매개변수는 Table 1과 같다. 네트워크의 빠른 수렴을 위해 학습률 스케쥴러(learning rate scheduler)를 사용하여 학습률을 미리 설정한 값에 따라 지속적으로 조정하였고, 옵티마이저(optimizer)와 Dice 손실 함수(loss function)를 활용하여 총 300 에포크(epoch)동안 학습을 수행했다. 네트워크의 성능이 50 에포크동안 향상되지 않으면 조기 종료(early stop)했으며, 학습 과정의 안정성 및 속도에 중요한 영향을 미치는 학습률, 학습률 스케쥴러 그리고 옵티마이저는 실험을 통해 네트워크별로 최적화했다.

Table 1 Deep learning network hyperparameter setting

HyperparameterDeepLabv3+ResUNet++Attention U-Net
Epoch300300300
Batch size888
Learning rate0.000010.0010.001
Learning rate schedulerCosine annealing warmup restartsExponential learning rateExponential learning rate
Loss functionDiceDiceDice
OptimizerAdamAdamAdamW
Early stop50 epoch50 epoch50 epoch


2.3.3. 정량적 평가 방법

탐지 결과는 수동 디지타이징된 정답 마스크와 비교하여 정량적으로 평가했다. 평가 지표로 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 score 그리고 IoU를 사용했으며, 각 지표는 다음 식(3)부터 (7)까지를 통해 계산될 수 있다. True Positive (TP)와 True Negative (TN)는 각각 긍정 및 부정 예측의 성공을 의미하며, 이는 딥러닝 네트워크 예측 결과가 실제 정답과 일치하는 경우를 말한다. 반대로 False Positive (FP)와 False Negative (FN)는 긍정 및 부정 예측의 실패, 즉 딥러닝 네트워크의 예측 결과가 실제 정답과 맞지 않음을 의미한다. 식(3)의 정확도는 딥러닝 네트워크의 전체 예측 결과 중 긍정 및 부정 예측의 성공 비율을 계산하여 얻을 수 있으며, 딥러닝 네트워크의 전반적인 성능 평가에 활용될 수 있다. 식(4)의 정밀도는 딥러닝 네트워크의 긍정 예측 중 실제 정답인 예측, 식(5)의 재현율은 딥러닝 네트워크가 정답이라고 판단한 예측 중 실제 정답인 예측의 비율로 계산할 수 있다. 정밀도와 재현율은 딥러닝 네트워크의 탐지 경향을 분석하는 데에 주로 활용된다. 만약 정밀도가 재현율에 비해 높다면 딥러닝 네트워크가 확실한 경우에만 정답이라고 판단하는 경향이 있어 비교적 신뢰도가 높다고 판단할 수 있다. 반면, 재현율이 정밀도보다 높다면 딥러닝 네트워크가 확실하지 않더라도 정답이라고 판단을 내리기에 신뢰도는 비교적 낮지만 탐지 결과의 검출율이 높다는 특징이 있다. 식(6)의 F1 score는 정밀도와 재현율의 조화 평균으로 계산된다. F1 score는 정밀도와 재현율이 균형을 이루는 경우에 가장 높은 값을 보이므로 네트워크의 탐지 균형성 평가에 적절하다. 식(7)의 IoU는 딥러닝 네트워크의 탐지 결과와 실제 정답간의 겹치는 정도를 나타내는 지표로, 이미지 분할 분야에서 딥러닝 네트워크의 탐지 결과를 실제 정답과 비교하여 평가하는 데에 주로 활용된다.

Accuracy=TP+TNTP+TN+FP+FN Precision=TPTP+FP Recall=TPTP+FP F1 score=2×Precision×RecallPrecision+Recall IoU=TPTP+FP+FN

3.1. Sentinel-2 밴드 및 지수 분석 결과

딥러닝 학습의 입력 자료는 Fig. 6과 같다. Fig. 6(a)의 Red 밴드는 대부분의 지역에서 양식시설물과 수체의 구분이 명확하지만, 일부 양식시설물의 내부가 수체와 비슷한 분광 특성을 나타내는 것을 확인할 수 있다. 이는 조류에 의해 양식시설물이 이동하면서 시설물 간 거리를 과하게 증가시켰기 때문에 발생하는 현상으로, 수분 함유량에 따라 값이 달라지는 Fig. 6(c)의 NDWI에서 가장 뚜렷하게 관측된다. Figs. 6(b, d)의 NIR, NDCI에는 내만 지역의 부유 물질에 의해 발생하는 노이즈가 비교적 잘 관찰되지만, 양식시설물 내부의 탐지 정확도가 높으며 시설물 경계가 선명하게 강조됨을 확인할 수 있다. 이러한 영상 및 지수의 특징은 서로간의 단점을 보완해줄 수 있을 뿐만 아니라, 딥러닝 네트워크를 통한 공간 및 구조적 정보 추출이 양식시설물 탐지에 효과적일 수 있음을 의미한다.

Fig. 6. Bands and Indices used in the study at Geoje-Hansan Bay: (a) Red, (b) NIR, (c) NDWI, and (d) NDCI.

3.2. 딥러닝 네트워크 양식시설물 탐지 성능 비교

딥러닝 네트워크를 이용한 탐지 결과의 정량 평가 결과는 Table 2에 제시되어 있다. Table 2에 따르면 세 네트워크 모두 정확도가 가장 높은 값을 보이는데, 이는 샘플링 데이터를 네트워크가 비양식시설물로 정확하게 예측하여 TN 값이 과도하게 증가했기 때문이다. 이처럼 hard negative mining 기법의 적용은 딥러닝 네트워크의 성능 향상에 도움이 되지만, 과적합 문제가 발생하거나 평가 데이터 수가 적어 TN 값 증가에 영향을 받는다면 정확도 지표를 사용한 모델 성능 평가가 어렵다는 단점이 있다. Table 2의 각 네트워크별 탐지 정밀도는 재현율에 비해 높은 경향을 보인다. 이는 전반적으로 네트워크의 탐지 결과에 대한 신뢰도는 높으나, 양식시설물과 비양식시설물 간의 구분이 확실하지 않은 객체들에 대한 탐지 성능이 비교적 부족함을 의미한다. 탐지 성능이 가장 좋은 네트워크는 Attention U-Net으로, 정밀도 0.9288, 재현율 0.8196, F1 score 0.8708 그리고 IoU 0.7708로 대부분의 지표에서 가장 우수한 결과를 보였다.

Table 2 Quantitative evaluation of aquaculture facilities detection result

MethodsAccuracyPrecisionRecallF1 scoreIoU
DeepLabv3+0.99120.87620.80130.83710.7455
ResUNet++0.98760.87170.81620.84300.7543
Attention U-Net0.99060.92880.81960.87080.7708


정성 평가 결과는 Fig. 7와 같다. Figs. 7(a, b)는 입력 자료로 사용된 NDWI와 NDCI이고, Fig. 7(c)는 수동 디지타이징 한 양식시설물 정답 마스크이다. Figs. 7(d, f)의 탐지 결과는 대체로 우수한 탐지 성능을 보였지만, 빨간색과 초록색 원으로 표시된 지역에서 낮은 탐지 성능을 보였다. 빨간색 원으로 표시된 지역은 세 네트워크 모두 탐지 성능이 낮은 지역으로, 이는 해당 지역이 해안선과 가까워 육지의 영향을 받아 전체적인 탐지 성능이 하락한 것으로 판단된다. 초록색 원으로 표시된 지역은 양식시설물 내부의 분광 특성이 수체와 유사한 경우로 각 네트워크의 탐지 성능 차이가 뚜렷하게 관찰되는 지역이다. 결과적으로 Fig. 7(f)의 Attention U-Net 탐지 결과가 다른 네트워크에 비해 우수했으며, 네트워크 구조에 따른 특징 추출 과정의 차이가 탐지 정확도에 영향을 미치는 것으로 판단된다.

Fig. 7. Visualizing qualitative evaluation result with indices and true mask : (a) NDWI, (b) NDCI, (c) True Mask, (d) DeepLabv3+ prediction result, (e) ResUNet++ prediction result, and (f) Attention U-Net prediction result. Red circles indicate areas with low detection performance for all networks. Green circles indicate areas where Attention U-Net showed high detection performance compared to other deep learning networks.

3.3. 네트워크 구조에 따른 정확도 분석

연안 양식시설물은 조류의 영향으로 위치, 크기, 형태 등이 쉽게 변하는 특성을 가지고 있기에, 이러한 특징을 고려한 딥러닝 네트워크 방법의 적용이 필수적이다. DeepLabv3+는 CNN을 기반으로 하기 때문에 구조적인 정보를 통한 외곽선 탐지에 효과적이나, 제한된 수용 영역내의 정보에 의존하여 입력 영상 전체의 맥락 정보를 학습하지 못한다는 한계가 있다. 연안 양식시설물 탐지는 노이즈 및 양식시설물의 이동에 따른 영향이 탐지 성능 향상에 중요한 역할을 하기 때문에, DeepLabv3+ 네트워크는 Fig. 7(d)처럼 외곽선 탐지 성능은 우수하지만, 시설물의 맥락 정보를 파악하지 못하는 것으로 확인된다.

반면, Attention U-Net은 특징 맵(feature map)의 중요도를 계산함으로써 양식시설물과 무관한 배경 정보의 영향을 최소화할 수 있을 뿐만 아니라, CNN 기반 모델처럼 수용 영역을 늘리지 않아 작고 모양 변동성이 큰 객체 탐지에 비교적 유리하여 Fig. 7(f)처럼 양식시설물의 구조적 특징을 잘 잡아내는 것으로 확인할 수 있다. ResUNet++ 네트워크는 Fig. 7(e)에서 낮은 성능을 보이는데, 이는 다른 네트워크에 비해 구조가 복잡하고 계산량이 많기 때문에 추후 성능 향상을 위해 추가적인 데이터 활용을 통한 학습 및 최적화가 필요할 것으로 판단된다.

본 연구는 Sentinel-2 광학 위성 영상과 딥러닝 이미지 분할 네트워크를 이용하여 경상남도 통영, 거제를 중심으로 위치한 양식시설물을 탐지했다. GEE를 활용하여 Sentinel-2 자료를 전처리했으며, SNAP을 사용해 수동 디지타이징한 자료를 딥러닝 네트워크 학습에 활용했다. 양식시설물 탐지를 위해 DeepLabv3+, ResUNet++ 그리고 Attention U-Net 네트워크를 학습에 이용했고, 실험 결과 Attention U-Net 모델이 대부분의 지표에서 가장 우수한 탐지 성능을 보였다. 정성 평가에서 Attention U-Net은 양식시설물 경계선 및 수체와 비슷한 분광 특성을 가진 시설물 내부 탐지 성능이 모두 우수했는데, 이는 Attention 연산을 통한 중요도 계산이 CNN 기반 모델의 한계 극복 및 탐지 성능 향상에 기여하는 것으로 판단된다.

본 연구의 패류 양식시설물 탐지 정확도는 딥러닝 네트워크 구조에 따른 정확도 차이를 중심으로 분석됐다. 그러나 양식 품종에 따라 달라지는 시설물의 구조, 규모 그리고 양식 방법과 같이 탐지 정확도 차이에 중대한 영향을 미치는 요소들에 대한 분석이 부족하다는 한계가 있다. 따라서, 향후 양식시설물 탐지에 영향을 미치는 다양한 요소들을 추가로 고려하여 탐지 정확도를 분석한다면, 보다 광범위한 연안 환경에서의 양식시설물 탐지 및 관리에 실질적으로 활용될 수 있는 기반을 마련할 수 있을 것이다.

Sentinel-2 광학 영상은 대기 현상에 민감하여 데이터 수집 단계에서의 제약이 있다. 그러나 Sentinel-1과 같은 SAR 위성 자료는 기상 조건에 영향을 받지 않아 데이터 수집이 용이하며, 후방 산란 계수를 통해 양식시설물의 구조적 특성을 효과적으로 파악 가능하다는 장점이 있다. 따라서 Sentinel-1과 Sentinel-2의 영상 정보를 효과적으로 융합하여 사용한다면, 양식시설물 탐지 정확도를 향상시킬 수 있을 것으로 예상된다. 본 연구 결과는 연안 양식시설물 탐지 분야에서의 딥러닝 네트워크 적용 가능성을 보였을 뿐만 아니라, 탐지 정확도에 영향을 미치는 요소들에 대한 추가 연구의 필요성을 제시했다. 본 연구에서 제시한 방법론은 다양한 양식 품종 탐지 및 연안 양식 생산량 추정으로의 연구 확장에 활용될 수 있을 것이며, 더 나아가 연안 양식시설물 모니터링 정책 결정에 중요한 기초 자료로 사용될 수 있을 것이다.

본 연구는 과학기술정보통신부의 재원으로 한국연구재단(과제번호: No.2021R1A2C100578013), 해양수산부의 재원으로 해양수산과학기술원 해양공간 정책시뮬레이터 기술 개발(과제번호: RS-2022-KS221620), 연세대학교 연세미래선도연구사업(과제번호: 2023-22-0128)의 지원을 받아 수행된 연구입니다.

No potential conflict of interest relevant to this article was reported.

  1. Chen, L. C., Zhu, Y., Papandreou, G., Schroff, F., and Adam, H., 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation. arXiv preprint arXiv:1802.02611. https://doi.org/10.48550/arXiv.1802.02611
  2. Gao, B., 1996. NDWI-A normalized difference water index for remote sensing of vegetation liquid water from space. Remote Sensing of Environment, 58(3), 257-266. https://doi.org/10.1016/S0034-4257(96)00067-3
  3. Gloria, G. A., 2013. Are mussels and oysters spectrally distinct?. Master's thesis, University of Twente, Enschede, Netherlands.
  4. Gorelick, N., Hancher, M., Dixon, M., Ilyushchenko, S., Thau, D., and Moore, R., 2017. Google Earth Engine: Planetary-scale geospatial analysis for everyone. Remote Sensing of Environment, 202, 18-27. https://doi.org/10.1016/j.rse.2017.06.031
  5. Hwang, D. H., and Jung, H. C., 2023. Analysis of offshore aquaculture detection techniques using synthetic aperture radar images. Korean Journal of Remote Sensing, 39(6-1), 1401-1411. https://doi.org/10.7780/kjrs.2023.39.6.1.18
  6. Jeong, J. C., 2005. Detection of laver aquaculture site of using multi-spectral remotely sensed data. Journal of Environmental Impact Assessment, 14(3), 127-134 .
  7. Jeong, S. H., 2023. A Study on extracting boundary data of marine fish farms based on satellite images. Journal of Advanced Navigation Technology, 27(6), 877-883. https://doi.org/10.12673/jant.2023.27.6.877
  8. Jeong, W. G., and Cho, S. M., 2003. The physiochemical characteristics of seawater and sediment of marine shellfish farm in Jindong Bay. Korean Journal of Malacology, 19(2), 161-169.
  9. Jha, D., Smedsrud, P. H., Riegler, M. A., Johansen, D., de Lange, T., and Halvorsen, P., et al, 2019. ResUNet++: An advanced architecture for medical image segmentation. arXiv preprint arXiv:1911.07067. https://doi.org/10.48550/arXiv.1911.07067
  10. Jo, M. H., 2011. Measuring the quantities of aquaculture farming facilities for seaweed, ear shell and fish using high resolution aerial images - A case of the Wando region, Jeollanamdo -. Journal of the Korean Association of Geographic Information Studies, 14(2), 147-161. https://doi.org/10.11108/kagis.2011.14.2.147
  11. Kang, J. H., and Lee, N. S., 2004. Observation of laver farming with satellites image and its applications. Ocean Policy Research-KMI, 19(2), 47-76.
  12. Kim, D. R., Kim, H. H., Kim, W. H., Ryu, D. H., Gang, S. M., and Choung, Y. J., 2016. Development of a prototype system for aquaculture facility auto detection using KOMPSAT-3 satellite imagery. Journal of the Korean Association of Geographic Information Studies, 19(4), 63-75. http://doi.org/10.11108/kagis.2016.19.4.063
  13. Kim, I. K., Lim, H. S., Ho, T. K. K., Kang, J. Y., and Gwak, J. H., 2021. Imbalanced dataset training techniques with hard negative mining and sample selection. In Proceedings of the 2021 Korean Institute of Next Generation Computing, Gwangju, Republic of Korea, May 13-15, pp. 391-394. https://www.earticle.net/Article/A409383
  14. Lee, J. B., and Choi, J. M., 2019. A study on detection of ocean farms in coastal area by using UAV photogrammetry and Faster-RCNN algorithm. Journal of Knowledge Information Technology and Systems, 14(2), 145-156.
  15. Lee, S. J., Jeong, W. G., Cho, S. M., and Kwon, J. N., 2016. Estimation of carrying capacity by food availability for farming oysters in Goseong Bay, Korea. The Korean Journal of Malacology, 32(2), 83-93.
  16. Lee, W. C., Cho, Y. S., Hong, S. J., Kim, H. C., Kim, J. B., and Lee, S. M., 2011. Estimation of ecological carrying capacity for oyster culture by ecological indicator in Geoje-Hansan Bay. Journal of the Korean Society of Marine Environment & Safety, 17(4), 315-322. http://doi.org/10.7837/kosomes.2011.17.4.315
  17. McFEETERS, S. K., 1996. The use of the Normalized Difference Water Index (NDWI) in the delineation of open water features. International Journal of Remote Sensing, 17(7), 1425-1432. https://doi.org/10.1080/01431169608948714
  18. Mishra, S., and Mishra, D. R., 2012. Normalized difference chlorophyll index: A novel model for remote estimation of chlorophyll-a concentration in turbid productive waters. Remote Sensing of Environment, 117, 394-406. https://doi.org/10.1016/j.rse.2011.10.016
  19. Oktay, O., Schlemper, J., Folgoc, L. L., Lee, M., Heinrich, M., and Misawa, K., et al, 2018. Attention U-Net: Learning where to look for the pancreas. arXiv preprint arXiv:1804.03999. https://doi.org/10.48550/arXiv.1804.03999
  20. Ren, S., He, K., Girshick, R., and Sun, J., 2015. Faster R-CNN: Towards real-time object detection with region proposal networks. arXiv preprint arXiv:1506.01497. https://doi.org/10.48550/arXiv.1506.01497
  21. Ronneberger, O., Fischer, P., and Brox, T., 2015. U-Net: Convolutional networks for biomedical image segmentation. arXiv preprint arXiv:1505.04597. https://doi.org/10.48550/arXiv.1505.04597
  22. Yang, C. S., and Park, S. Y., 2006. Facilities analysis of laver cultivation grounds in Korean coastal water using SPOT-5 images in 2005. Journal of the Korean Society for Marine Environment & Energy, 9(3), 168-175.

Research Article

Korean J. Remote Sens. 2024; 40(5): 455-464

Published online October 31, 2024 https://doi.org/10.7780/kjrs.2024.40.5.1.4

Copyright © Korean Society of Remote Sensing.

딥러닝 기법을 이용한 연안 양식 시설 탐지의 정확도 평가

김서진1, 정한철2*, 황도현3

1연세대학교 지구시스템과학과 석/박사통합과정생
2연세대학교 지구시스템과학과 부교수
3연세대학교 지구시스템과학연구소 박사후연구원

Received: September 30, 2024; Revised: October 18, 2024; Accepted: October 21, 2024

Accuracy Assessment of Coastal Aquaculture Facility Detection Using Deep Learning Techniques

Seo Jin Kim1 , Hahn Chul Jung2* , Do-Hyun Hwang3

1Combined MS/PhD Student, Department of Earth System Science, Yonsei University, Seoul, Republic of Korea
2Associate Professor, Department of Earth System Science, Yonsei University, Seoul, Republic of Korea
3Postdoctoral Researcher, Research Center for Earth System Sciences, Yonsei University, Seoul, Republic of Korea

Correspondence to:Hahn Chul Jung
E-mail: hahnchul.jung@yonsei.ac.kr

Received: September 30, 2024; Revised: October 18, 2024; Accepted: October 21, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Due to declining fish catches caused by rapid climate change and advancements in aquaculture technology, the global demand for aquaculture products is continuously increasing. However, since the reckless expansion of facilities adversely affects the coastal ecosystem and fish stock prices, managing aquaculture facilities through periodic coastal environment monitoring is essential. This study analyzed the detection accuracy of shellfish aquaculture facilities in Gyeongsangnam-do using Sentinel-2 optical imageries and deep learning-based detection methodology. The DeepLabv3+, ResUNet++, and Attention U-Net networks were applied, and as a result, Attention U-Net showed the best detection performance with F1 score of 0.8708 and Intersection over Union 0.7708. The detection methodology presented in this study allows periodic observation of aquaculture facilities affected by sea currents and suspending matters. Also, it may apply to detecting various aquaculture species, showing high potential for expansion to wider areas. Therefore, the aquaculture facility information derived through this study is expected to be useful for future policy decisions regarding marine spatial utilization.

Keywords: Sentinel-2, Deep learning, Aquaculture facility detection

1. 서론

기후 변화로 인한 이상 기온 현상으로 어획량이 감소함에 따라 양식 산업의 중요성이 점차 증가하고 있다. 대한민국은 반도에 위치하며 복잡한 해안선으로 인해 다양한 연안 환경을 보유하고 있어 계절에 따라 다양한 양식 품종을 생산할 수 있는 지리적 이점을 가지고 있다. 이러한 조건을 바탕으로 대한민국의 양식 산업은 패류(굴, 전복, 홍합 등)와 해조류(김, 다시마, 파래 등) 생산을 중심으로 지속적으로 성장하여 어느덧 수산업의 핵심 산업으로 자리매김하였다.

그러나 최근 양식 생산량 증가에 따른 무분별한 시설물 설치로 인해 과밀집 현상이 발생하고 있다. 이는 연안 생태계를 위협하고 내수 가격 조정에도 부정적인 영향을 미치므로 지속적인 연안 환경 모니터링을 통한 양식시설물 운영 현황 파악 및 시설량 추정이 필요한 실정이다. 이러한 배경에서 Kang and Lee (2004)는 지역별 김 양식시설물 특성을 고려하여 면허시설 대비 실제 시설 현황을 조사하였고, Jo (2011)는 고해상도 항공 영상을 활용하여 김, 전복, 어류 양식장 시설량 판독을 수행하였다. 두 연구 모두 양식시설물의 구조적 특징을 기반으로 시설량을 산출하여 초과 시설 및 면허 외 양식시설물 현황에 대한 정보를 제공하였다. 그러나 이러한 연구들은 전문가의 육안 판독에 의존하기 때문에 계절 및 조류의 변화에 따라 급격하게 변화하는 연안 양식시설물을 주기적으로 관측하기 어려우며, 고해상도 위성 및 항공 자료 수집에도 상당한 비용이 소요된다는 한계가 있다.

이러한 육안 판독의 한계를 극복하기 위한 양식시설물 탐지 연구방법이 제시되었으며, 크게 전통적인 임계값 기반 연구와 머신러닝 및 딥러닝을 활용한 연구로 구분할 수 있다. Jeong (2005)은 IKONOS와 SPOT-5 위성 자료에 digital number 구분 및 식생지수 추출 방법을 적용하여 김 양식시설물 탐지 가능성을 보였다. Yang and Park (2006)은 SPOT-5 위성 자료에 Otsu 알고리즘과 Canny Edge 탐지 기법을 활용하여 대한민국 연안 김 양식시설물을 탐지했고, 면허 시설량과의 비교를 통해 양식 시설 현황을 분석했다. Jeong (2023)은 Sentinel-2 위성 자료에 Intensity Hue Saturation 변환 기법과 고주파 통과 필터링을 적용하여 경상남도의 양식시설물을 탐지하였다. 또한 Hwang and Jung (2023)은 양식시설물 탐지를 위해 Sentinel-1 위성 자료와 Otsu 기법을 사용하여 시설물과 바다의 후방 산란 계수 차이를 통한 탐지 방법론을 제시했다. 그러나 임계값 기반 탐지 기법은 복잡한 연안 환경에 적합하지 않으며, 다양한 양식 품종과 시설 종류에 따른 분광 특성 변화를 충분히 반영하지 못하기에 넓은 지역에 적용하기 어렵다.

인공지능의 발달과 함께 머신러닝 및 딥러닝 기법을 활용한 양식시설물 탐지 연구도 계속되고 있다. Kim et al. (2016)은 KOMPSAT-3 위성 자료와 인공신경망 알고리즘을 사용하여 거제 및 완도 양식시설물 탐지 프로토타입을 구축했으며, Lee and Choi (2019)는 합성곱 신경망(convolutional neural network, CNN) 기반 객체 탐지 알고리즘인 Faster-RCNN과 unmanned aerial vehicle (UAV) 영상을 활용하여 양식시설물 탐지 연구를 진행했다(Ren et al., 2015). 최근 다양한 분야에서 성능을 입증한 딥러닝 이미지 분할 네트워크는 특히 객체의 위치 및 면적 탐지에 있어 우수한 성능을 보이고 있다. 그러나 복잡한 연안 환경과 양식시설물 탐지에 영향을 주는 요인들에 대한 연구가 미흡하여 알고리즘 적용에 어려움을 겪고 있다. 딥러닝 네트워크는 다양한 입력 자료와 네트워크 구조를 기반으로 효과적인 탐지가 가능하며, 데이터 추가 수집을 통한 연구 지역 확장에도 용이하다는 장점이 있다. 이러한 특성은 연안 환경에서의 활용 가능성이 높기 때문에, 알고리즘 적용에 대한 추가적인 연구가 필요하다.

따라서 본 연구에서는 주기적인 관측과 탐지 정확도 향상을 위해 Sentinel-2 광학 영상과 딥러닝 이미지 분할 네트워크를 활용하여 경상남도 지역, 특히 통영과 거제를 중심으로 한 패류 양식시설물을 탐지했다. 수동 디지타이징(manual digitizing) 방식으로 제작한 정답 마스크를 딥러닝 학습에 사용하였으며, 탐지 성능 평가를 위해 Intersection over Union (IoU) 및 F1 score 등을 정량적 지표로 활용했다. 탐지 결과는 딥러닝 네트워크 구조에 따라 분석했으며, 결과적으로 연안 양식시설물 탐지에 효과적인 탐지 방법론을 제시했다.

2. 연구자료 및 방법

2.1. 연구 지역

본 연구는 Fig. 1에 표시된 통영과 거제를 중심으로 한 경상남도 지역의 패류 양식시설물을 대상으로 했다. 경상남도 지역의 패류 양식 시설은 과밀집 양식으로 인한 연안 환경 오염 개선 요구가 계속됐지만, 광범위한 지역에 적용 가능한 탐지 기법에 대한 연구가 부족하여 양식 현황 파악에 어려움을 겪고 있다. 특히 Fig. 1(a)의 진동만은 여름철 육지 기원 영양염류의 유입으로 인한 빈산소 및 적조 현상으로 인해 패류 양식 생산량이 감소하고 있으며(Jeong and Cho, 2003), Fig. 1(b)의 고성만과 Fig. 1(c)의 거제한산만 굴 양식장 역시 지역 생태계에 부하를 줄 만큼 시설물이 과다 설치되어 있어 생산량 저감이 시급한 상황이다(Lee et al., 2011; 2016). 따라서 패류 양식시설물 관측을 위해 굴을 비롯한 패류가 생장 및 수확되는 2020년 10월 1일부터 2021년 4월 30일까지를 연구 기간으로 설정하여 해당 지역의 시설물 탐지를 수행하였다.

Figure 1. The study area is a coastal region in Gyeongsangnam-do, centered on Tongyeong and Geoje, where shellfish aquaculture facilities are located. Licensed aquaculture facilities are highlighted in orange. The red boxes indicate areas with concentrated aquaculture facilities in (a) Jindong Bay, (b) Goseong Bay, and (c) Geoje-Hansan Bay.

2.2. 위성 자료

본 연구에서는 10 m 공간 해상도를 가진 Sentinel-2A/BMSI Level-2A Surface Reflectance 자료를 사용했다. 위성 자료는 구글 클라우드 기반 플랫폼인 구글 어스 엔진(Google Earth Engine, GEE)을 활용하여 수집 및 전처리했다(Gorelick et al., 2017). Sentinel-2 위성 자료는 무료로 제공되며, 재방문 주기가 5일로 연안을 주기적으로 모니터링 하는데 적합하다. 또한 Sentinel-2 위성 자료는 총 13개의 밴드로 구성되며, 각 밴드를 통해 지표의 화학적 구성에 따른 분광 특성을 분석할 수 있다는 장점이 있다. 그러나 구름을 비롯한 기상 현상에 민감하므로, 구름의 영향이 10 % 미만인 영상을 선별하고 구름 관련 영상 품질 정보를 제공하는 quality assurance 60 밴드를 이용하여 구름을 마스킹했다.

본 연구의 양식시설물 탐지 기법은 정규수분지수(normalized difference water index, NDWI) 및 정규클로로필지수(normalized difference chlorophyll index, NDCI)에 기반한다(Gao, 1996; Mishra and Mishra, 2012). 두 지수는 각각 식(1, 2)를 통해 계산된다.

NDWI=GreenNIRGreen+NIR NDCI=Red Edge 1RedRed Edge 1+Red

NDWI는 수분함량에 따른 분광특성 변화를 통한 수체 구분에 활용될 수 있기 때문에, 수체에 둘러싸인 시설물 판독에 효과적이다(McFEETERS, 1996). 그러나 시설물이 수체에 잠기거나 시설물 내외부에 수체가 존재할 경우 정규수분지수만을 사용하여 시설물의 경계를 명확하게 구분하기 어렵다. NDCI 지수는 클로로필 a의 농도 및 영양 염류를 비롯한 유기물과 강한 상관관계를 가지며(Mishra and Mishra, 2012), 시설물 내외부의 유기물과 부유 물질의 농도 차이를 바탕으로 NDWI만으로 관측이 어려운 시설물 탐지에 도움이 될 것이라고 판단했다(McFEETERS, 1996). 또한 패류의 껍질을 주로 구성하는 탄산 칼슘은 Red 및 near-infrared (NIR) 밴드에 민감하기 때문에 이들을 추가로 사용하여 NDWI, NDCI, Red, 그리고 NIR을 입력 자료로 활용했다(Gloria, 2013). GEE는 연구 지역 내에 중첩되는 모든 위성 영상을 수집하기 때문에, 결과적으로 총 232장의 위성 영상을 수집했다. 수집된 영상은 구름 및 이동하는 선박의 영향을 최소화하기 위해 각 픽셀별로 중앙값 연산을 수행하여 연구에 사용했다.

2.3. 연구 방법

2.3.1. 학습 데이터 구축

연구 흐름도는 Fig. 2와 같다. 딥러닝 학습 데이터 구축에는 Sentinel Application Platform (SNAP)과 Pytorch를 활용했다. SNAP은 지구 관측 데이터 처리 및 분석에 활용되는 오픈 소스 영상 처리 소프트웨어로, 본 연구에서는 수동 디지타이징를 통한 학습 데이터 구축에 사용됐다. 해양수산부에서 제공하는 어장정보도에는 양식시설물의 위치, 양식 품종, 면허 정보 등과 같은 정보가 담겨 있어 딥러닝 네트워크 학습을 위한 정답 마스크 구축에 참고했다. 면허지 외에 위치한 양식시설물은 고해상도 구글 어스 영상을 활용하여 수동 디지타이징 했으며, 총 1566개의 패류 양식시설물 객체를 마스킹(masking)하여 학습에 활용했다.

Figure 2. Study flow chart.

수동 디지타이징된 정답 마스크 자료와 GEE로 수집한 위성 자료는 딥러닝 프레임워크인 Pytorch를 사용하여 네트워크 학습을 위한 입력 자료 형태로 변환했다. 육지 마스킹을 위한 해안선 데이터는 연구 지역의 복잡한 연안 지형을 고려하기 위해 다음과 같은 방법으로 구축했다. 국토지리정보원에서 제공하는 해안선 shape 파일과 구글어스의 영상을 참조했으며, 이를 통해 연구 지역의 복잡한 해안 지형을 반영한 해안선 데이터를 구축하고 육지 마스킹에 활용했다. 위성 영상 및 지수는 분포가 길고 넓으며, 픽셀값의 범위가 서로 달라 학습 과정을 원활하게 하기 위해 정규화 과정을 거쳤다.

이후, 정답 마스크와 정규화된 영상을 224 × 224 크기의 이미지 패치로 분할했다. 본 연구에는 양식시설물이 위치한 지역의 데이터 전부와 양식시설물이 위치하지 않는 지역의 데이터 일부가 샘플링되어 사용됐다. 이는 hard negative mining 기법으로, 시설물과 비시설물의 특징 정보를 균형있게 학습할 수 있어 딥러닝 네트워크의 전반적인 탐지 정확도 향상에 효과가 있다(Kim et al., 2021). 이러한 과정으로 얻은 데이터는 성능 평가를 위해 학습(70%), 검증(20%) 그리고 평가(10%) 데이터로 분리했고, 데이터 증강 기법으로 영상 회전과 상하좌우 반전을 수행하여 다양한 상황에서의 특징 정보를 학습할 수 있도록 했다. 이후, 이미지 경계 부분의 탐지 정확도 향상을 위해 상하좌우에 16 픽셀의 제로 패딩을 적용하여 최종적으로 256 × 256 크기의 데이터를 딥러닝 네트워크 학습에 사용했다.

2.3.2. 양식시설물 탐지 딥러닝 네트워크

본 연구는 패류 양식시설물 탐지에 적용하기 위한 다양한 이미지 분할 딥러닝 네트워크를 탐색했다. 연안 양식시설물은 조류 및 육상 기원 부유 물질의 영향을 받으므로, 분광 특성과 객체의 위치 정보를 함께 고려할 수 있는 CNN 기반 네트워크 구조가 시설물 탐지에 적합하다. 따라서 본 연구에서는 CNN 기반 이미지 분할 네트워크인 DeepLabv3+, Attention U-Net 그리고 ResUNet++를 양식시설물 탐지에 적용했다. 이들은 전통적인 이미지 분할 네트워크인 U-Net의 구조를 따르며, 입력 자료의 특징 정보를 압축하는 인코더(encoder)와 압축된 정보를 원래 형태로 복원하는 디코더(decoder)를 거쳐 객체를 분할한다(Ronneberger et al., 2015). 각 딥러닝 네트워크는 공통적인 구조를 기반으로 하지만 네트워크 구조에 따른 특징 추출 방법의 장단점이 뚜렷하기에 이를 기반으로 탐지 정확도를 비교 분석했다.

Fig. 3의 DeepLabv3+ 네트워크는 넓은 수용 영역에서의 특징 학습을 위해 Atrous Spatial Pyramid Pooling (ASPP) 모듈을 도입하고, 연산 효율 향상을 위해 depthwise separable convolution을 사용하여 탐지 성능이 우수하다. 또한 학습 과정에서 여러 스케일의 특징 정보를 활용하여 다양한 크기를 가진 객체 탐지 성능이 향상된 네트워크를 설계했다(Chen et al., 2018). Attention U-Net 네트워크는 Fig. 4와 같으며 Attention Gates 모듈을 사용하여 탐지에 핵심적인 정보를 집중적으로 학습한다. Attention Gates는 인코딩된 정보와 디코딩된 정보를 결합하는 과정에서 픽셀별 중요도를 계산하는 모듈로, 기본적인 CNN 네트워크와 함께 사용되어 계산 비용이 효율적이고 작은 객체탐지 성능이 우수한 네트워크를 구축하는데에 활용되었다(Oktay et al., 2018). ResUNet++의 구조는 Fig. 5와 같다. ResUNet++는 잔차 연결을 기반으로 한 네트워크이며 DeepLabv3+와 Attention U-Net에서 사용한 기법이 일부 적용된다. ASPP, Attention 그리고 잔차 연결 모듈이 압축 및 재조정 모듈과 함께 사용됐으며, 이를 통해 보다 정교한 객체 탐지가 가능하다는 장점이 있다(Jha et al., 2019).

Figure 3. DeepLabV3+ network structure (Chen et al., 2018).
Figure 4. Attention U-Net network structure (Oktay et al., 2018).
Figure 5. ResUNet++ network structure (Jha et al., 2019).

본 연구에서 네트워크의 학습 최적화를 위해 조정한 초매개변수는 Table 1과 같다. 네트워크의 빠른 수렴을 위해 학습률 스케쥴러(learning rate scheduler)를 사용하여 학습률을 미리 설정한 값에 따라 지속적으로 조정하였고, 옵티마이저(optimizer)와 Dice 손실 함수(loss function)를 활용하여 총 300 에포크(epoch)동안 학습을 수행했다. 네트워크의 성능이 50 에포크동안 향상되지 않으면 조기 종료(early stop)했으며, 학습 과정의 안정성 및 속도에 중요한 영향을 미치는 학습률, 학습률 스케쥴러 그리고 옵티마이저는 실험을 통해 네트워크별로 최적화했다.

Table 1 . Deep learning network hyperparameter setting.

HyperparameterDeepLabv3+ResUNet++Attention U-Net
Epoch300300300
Batch size888
Learning rate0.000010.0010.001
Learning rate schedulerCosine annealing warmup restartsExponential learning rateExponential learning rate
Loss functionDiceDiceDice
OptimizerAdamAdamAdamW
Early stop50 epoch50 epoch50 epoch


2.3.3. 정량적 평가 방법

탐지 결과는 수동 디지타이징된 정답 마스크와 비교하여 정량적으로 평가했다. 평가 지표로 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 score 그리고 IoU를 사용했으며, 각 지표는 다음 식(3)부터 (7)까지를 통해 계산될 수 있다. True Positive (TP)와 True Negative (TN)는 각각 긍정 및 부정 예측의 성공을 의미하며, 이는 딥러닝 네트워크 예측 결과가 실제 정답과 일치하는 경우를 말한다. 반대로 False Positive (FP)와 False Negative (FN)는 긍정 및 부정 예측의 실패, 즉 딥러닝 네트워크의 예측 결과가 실제 정답과 맞지 않음을 의미한다. 식(3)의 정확도는 딥러닝 네트워크의 전체 예측 결과 중 긍정 및 부정 예측의 성공 비율을 계산하여 얻을 수 있으며, 딥러닝 네트워크의 전반적인 성능 평가에 활용될 수 있다. 식(4)의 정밀도는 딥러닝 네트워크의 긍정 예측 중 실제 정답인 예측, 식(5)의 재현율은 딥러닝 네트워크가 정답이라고 판단한 예측 중 실제 정답인 예측의 비율로 계산할 수 있다. 정밀도와 재현율은 딥러닝 네트워크의 탐지 경향을 분석하는 데에 주로 활용된다. 만약 정밀도가 재현율에 비해 높다면 딥러닝 네트워크가 확실한 경우에만 정답이라고 판단하는 경향이 있어 비교적 신뢰도가 높다고 판단할 수 있다. 반면, 재현율이 정밀도보다 높다면 딥러닝 네트워크가 확실하지 않더라도 정답이라고 판단을 내리기에 신뢰도는 비교적 낮지만 탐지 결과의 검출율이 높다는 특징이 있다. 식(6)의 F1 score는 정밀도와 재현율의 조화 평균으로 계산된다. F1 score는 정밀도와 재현율이 균형을 이루는 경우에 가장 높은 값을 보이므로 네트워크의 탐지 균형성 평가에 적절하다. 식(7)의 IoU는 딥러닝 네트워크의 탐지 결과와 실제 정답간의 겹치는 정도를 나타내는 지표로, 이미지 분할 분야에서 딥러닝 네트워크의 탐지 결과를 실제 정답과 비교하여 평가하는 데에 주로 활용된다.

Accuracy=TP+TNTP+TN+FP+FN Precision=TPTP+FP Recall=TPTP+FP F1 score=2×Precision×RecallPrecision+Recall IoU=TPTP+FP+FN

3. 연구결과 및 토의

3.1. Sentinel-2 밴드 및 지수 분석 결과

딥러닝 학습의 입력 자료는 Fig. 6과 같다. Fig. 6(a)의 Red 밴드는 대부분의 지역에서 양식시설물과 수체의 구분이 명확하지만, 일부 양식시설물의 내부가 수체와 비슷한 분광 특성을 나타내는 것을 확인할 수 있다. 이는 조류에 의해 양식시설물이 이동하면서 시설물 간 거리를 과하게 증가시켰기 때문에 발생하는 현상으로, 수분 함유량에 따라 값이 달라지는 Fig. 6(c)의 NDWI에서 가장 뚜렷하게 관측된다. Figs. 6(b, d)의 NIR, NDCI에는 내만 지역의 부유 물질에 의해 발생하는 노이즈가 비교적 잘 관찰되지만, 양식시설물 내부의 탐지 정확도가 높으며 시설물 경계가 선명하게 강조됨을 확인할 수 있다. 이러한 영상 및 지수의 특징은 서로간의 단점을 보완해줄 수 있을 뿐만 아니라, 딥러닝 네트워크를 통한 공간 및 구조적 정보 추출이 양식시설물 탐지에 효과적일 수 있음을 의미한다.

Figure 6. Bands and Indices used in the study at Geoje-Hansan Bay: (a) Red, (b) NIR, (c) NDWI, and (d) NDCI.

3.2. 딥러닝 네트워크 양식시설물 탐지 성능 비교

딥러닝 네트워크를 이용한 탐지 결과의 정량 평가 결과는 Table 2에 제시되어 있다. Table 2에 따르면 세 네트워크 모두 정확도가 가장 높은 값을 보이는데, 이는 샘플링 데이터를 네트워크가 비양식시설물로 정확하게 예측하여 TN 값이 과도하게 증가했기 때문이다. 이처럼 hard negative mining 기법의 적용은 딥러닝 네트워크의 성능 향상에 도움이 되지만, 과적합 문제가 발생하거나 평가 데이터 수가 적어 TN 값 증가에 영향을 받는다면 정확도 지표를 사용한 모델 성능 평가가 어렵다는 단점이 있다. Table 2의 각 네트워크별 탐지 정밀도는 재현율에 비해 높은 경향을 보인다. 이는 전반적으로 네트워크의 탐지 결과에 대한 신뢰도는 높으나, 양식시설물과 비양식시설물 간의 구분이 확실하지 않은 객체들에 대한 탐지 성능이 비교적 부족함을 의미한다. 탐지 성능이 가장 좋은 네트워크는 Attention U-Net으로, 정밀도 0.9288, 재현율 0.8196, F1 score 0.8708 그리고 IoU 0.7708로 대부분의 지표에서 가장 우수한 결과를 보였다.

Table 2 . Quantitative evaluation of aquaculture facilities detection result.

MethodsAccuracyPrecisionRecallF1 scoreIoU
DeepLabv3+0.99120.87620.80130.83710.7455
ResUNet++0.98760.87170.81620.84300.7543
Attention U-Net0.99060.92880.81960.87080.7708


정성 평가 결과는 Fig. 7와 같다. Figs. 7(a, b)는 입력 자료로 사용된 NDWI와 NDCI이고, Fig. 7(c)는 수동 디지타이징 한 양식시설물 정답 마스크이다. Figs. 7(d, f)의 탐지 결과는 대체로 우수한 탐지 성능을 보였지만, 빨간색과 초록색 원으로 표시된 지역에서 낮은 탐지 성능을 보였다. 빨간색 원으로 표시된 지역은 세 네트워크 모두 탐지 성능이 낮은 지역으로, 이는 해당 지역이 해안선과 가까워 육지의 영향을 받아 전체적인 탐지 성능이 하락한 것으로 판단된다. 초록색 원으로 표시된 지역은 양식시설물 내부의 분광 특성이 수체와 유사한 경우로 각 네트워크의 탐지 성능 차이가 뚜렷하게 관찰되는 지역이다. 결과적으로 Fig. 7(f)의 Attention U-Net 탐지 결과가 다른 네트워크에 비해 우수했으며, 네트워크 구조에 따른 특징 추출 과정의 차이가 탐지 정확도에 영향을 미치는 것으로 판단된다.

Figure 7. Visualizing qualitative evaluation result with indices and true mask : (a) NDWI, (b) NDCI, (c) True Mask, (d) DeepLabv3+ prediction result, (e) ResUNet++ prediction result, and (f) Attention U-Net prediction result. Red circles indicate areas with low detection performance for all networks. Green circles indicate areas where Attention U-Net showed high detection performance compared to other deep learning networks.

3.3. 네트워크 구조에 따른 정확도 분석

연안 양식시설물은 조류의 영향으로 위치, 크기, 형태 등이 쉽게 변하는 특성을 가지고 있기에, 이러한 특징을 고려한 딥러닝 네트워크 방법의 적용이 필수적이다. DeepLabv3+는 CNN을 기반으로 하기 때문에 구조적인 정보를 통한 외곽선 탐지에 효과적이나, 제한된 수용 영역내의 정보에 의존하여 입력 영상 전체의 맥락 정보를 학습하지 못한다는 한계가 있다. 연안 양식시설물 탐지는 노이즈 및 양식시설물의 이동에 따른 영향이 탐지 성능 향상에 중요한 역할을 하기 때문에, DeepLabv3+ 네트워크는 Fig. 7(d)처럼 외곽선 탐지 성능은 우수하지만, 시설물의 맥락 정보를 파악하지 못하는 것으로 확인된다.

반면, Attention U-Net은 특징 맵(feature map)의 중요도를 계산함으로써 양식시설물과 무관한 배경 정보의 영향을 최소화할 수 있을 뿐만 아니라, CNN 기반 모델처럼 수용 영역을 늘리지 않아 작고 모양 변동성이 큰 객체 탐지에 비교적 유리하여 Fig. 7(f)처럼 양식시설물의 구조적 특징을 잘 잡아내는 것으로 확인할 수 있다. ResUNet++ 네트워크는 Fig. 7(e)에서 낮은 성능을 보이는데, 이는 다른 네트워크에 비해 구조가 복잡하고 계산량이 많기 때문에 추후 성능 향상을 위해 추가적인 데이터 활용을 통한 학습 및 최적화가 필요할 것으로 판단된다.

4. 결론

본 연구는 Sentinel-2 광학 위성 영상과 딥러닝 이미지 분할 네트워크를 이용하여 경상남도 통영, 거제를 중심으로 위치한 양식시설물을 탐지했다. GEE를 활용하여 Sentinel-2 자료를 전처리했으며, SNAP을 사용해 수동 디지타이징한 자료를 딥러닝 네트워크 학습에 활용했다. 양식시설물 탐지를 위해 DeepLabv3+, ResUNet++ 그리고 Attention U-Net 네트워크를 학습에 이용했고, 실험 결과 Attention U-Net 모델이 대부분의 지표에서 가장 우수한 탐지 성능을 보였다. 정성 평가에서 Attention U-Net은 양식시설물 경계선 및 수체와 비슷한 분광 특성을 가진 시설물 내부 탐지 성능이 모두 우수했는데, 이는 Attention 연산을 통한 중요도 계산이 CNN 기반 모델의 한계 극복 및 탐지 성능 향상에 기여하는 것으로 판단된다.

본 연구의 패류 양식시설물 탐지 정확도는 딥러닝 네트워크 구조에 따른 정확도 차이를 중심으로 분석됐다. 그러나 양식 품종에 따라 달라지는 시설물의 구조, 규모 그리고 양식 방법과 같이 탐지 정확도 차이에 중대한 영향을 미치는 요소들에 대한 분석이 부족하다는 한계가 있다. 따라서, 향후 양식시설물 탐지에 영향을 미치는 다양한 요소들을 추가로 고려하여 탐지 정확도를 분석한다면, 보다 광범위한 연안 환경에서의 양식시설물 탐지 및 관리에 실질적으로 활용될 수 있는 기반을 마련할 수 있을 것이다.

Sentinel-2 광학 영상은 대기 현상에 민감하여 데이터 수집 단계에서의 제약이 있다. 그러나 Sentinel-1과 같은 SAR 위성 자료는 기상 조건에 영향을 받지 않아 데이터 수집이 용이하며, 후방 산란 계수를 통해 양식시설물의 구조적 특성을 효과적으로 파악 가능하다는 장점이 있다. 따라서 Sentinel-1과 Sentinel-2의 영상 정보를 효과적으로 융합하여 사용한다면, 양식시설물 탐지 정확도를 향상시킬 수 있을 것으로 예상된다. 본 연구 결과는 연안 양식시설물 탐지 분야에서의 딥러닝 네트워크 적용 가능성을 보였을 뿐만 아니라, 탐지 정확도에 영향을 미치는 요소들에 대한 추가 연구의 필요성을 제시했다. 본 연구에서 제시한 방법론은 다양한 양식 품종 탐지 및 연안 양식 생산량 추정으로의 연구 확장에 활용될 수 있을 것이며, 더 나아가 연안 양식시설물 모니터링 정책 결정에 중요한 기초 자료로 사용될 수 있을 것이다.

사사

본 연구는 과학기술정보통신부의 재원으로 한국연구재단(과제번호: No.2021R1A2C100578013), 해양수산부의 재원으로 해양수산과학기술원 해양공간 정책시뮬레이터 기술 개발(과제번호: RS-2022-KS221620), 연세대학교 연세미래선도연구사업(과제번호: 2023-22-0128)의 지원을 받아 수행된 연구입니다.

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

Fig 1.

Figure 1.The study area is a coastal region in Gyeongsangnam-do, centered on Tongyeong and Geoje, where shellfish aquaculture facilities are located. Licensed aquaculture facilities are highlighted in orange. The red boxes indicate areas with concentrated aquaculture facilities in (a) Jindong Bay, (b) Goseong Bay, and (c) Geoje-Hansan Bay.
Korean Journal of Remote Sensing 2024; 40: 455-464https://doi.org/10.7780/kjrs.2024.40.5.1.4

Fig 2.

Figure 2.Study flow chart.
Korean Journal of Remote Sensing 2024; 40: 455-464https://doi.org/10.7780/kjrs.2024.40.5.1.4

Fig 3.

Figure 3.DeepLabV3+ network structure (Chen et al., 2018).
Korean Journal of Remote Sensing 2024; 40: 455-464https://doi.org/10.7780/kjrs.2024.40.5.1.4

Fig 4.

Figure 4.Attention U-Net network structure (Oktay et al., 2018).
Korean Journal of Remote Sensing 2024; 40: 455-464https://doi.org/10.7780/kjrs.2024.40.5.1.4

Fig 5.

Figure 5.ResUNet++ network structure (Jha et al., 2019).
Korean Journal of Remote Sensing 2024; 40: 455-464https://doi.org/10.7780/kjrs.2024.40.5.1.4

Fig 6.

Figure 6.Bands and Indices used in the study at Geoje-Hansan Bay: (a) Red, (b) NIR, (c) NDWI, and (d) NDCI.
Korean Journal of Remote Sensing 2024; 40: 455-464https://doi.org/10.7780/kjrs.2024.40.5.1.4

Fig 7.

Figure 7.Visualizing qualitative evaluation result with indices and true mask : (a) NDWI, (b) NDCI, (c) True Mask, (d) DeepLabv3+ prediction result, (e) ResUNet++ prediction result, and (f) Attention U-Net prediction result. Red circles indicate areas with low detection performance for all networks. Green circles indicate areas where Attention U-Net showed high detection performance compared to other deep learning networks.
Korean Journal of Remote Sensing 2024; 40: 455-464https://doi.org/10.7780/kjrs.2024.40.5.1.4

Table 1 . Deep learning network hyperparameter setting.

HyperparameterDeepLabv3+ResUNet++Attention U-Net
Epoch300300300
Batch size888
Learning rate0.000010.0010.001
Learning rate schedulerCosine annealing warmup restartsExponential learning rateExponential learning rate
Loss functionDiceDiceDice
OptimizerAdamAdamAdamW
Early stop50 epoch50 epoch50 epoch

Table 2 . Quantitative evaluation of aquaculture facilities detection result.

MethodsAccuracyPrecisionRecallF1 scoreIoU
DeepLabv3+0.99120.87620.80130.83710.7455
ResUNet++0.98760.87170.81620.84300.7543
Attention U-Net0.99060.92880.81960.87080.7708

References

  1. Chen, L. C., Zhu, Y., Papandreou, G., Schroff, F., and Adam, H., 2018. Encoder-decoder with atrous separable convolution for semantic image segmentation. arXiv preprint arXiv:1802.02611. https://doi.org/10.48550/arXiv.1802.02611
  2. Gao, B., 1996. NDWI-A normalized difference water index for remote sensing of vegetation liquid water from space. Remote Sensing of Environment, 58(3), 257-266. https://doi.org/10.1016/S0034-4257(96)00067-3
  3. Gloria, G. A., 2013. Are mussels and oysters spectrally distinct?. Master's thesis, University of Twente, Enschede, Netherlands.
  4. Gorelick, N., Hancher, M., Dixon, M., Ilyushchenko, S., Thau, D., and Moore, R., 2017. Google Earth Engine: Planetary-scale geospatial analysis for everyone. Remote Sensing of Environment, 202, 18-27. https://doi.org/10.1016/j.rse.2017.06.031
  5. Hwang, D. H., and Jung, H. C., 2023. Analysis of offshore aquaculture detection techniques using synthetic aperture radar images. Korean Journal of Remote Sensing, 39(6-1), 1401-1411. https://doi.org/10.7780/kjrs.2023.39.6.1.18
  6. Jeong, J. C., 2005. Detection of laver aquaculture site of using multi-spectral remotely sensed data. Journal of Environmental Impact Assessment, 14(3), 127-134 .
  7. Jeong, S. H., 2023. A Study on extracting boundary data of marine fish farms based on satellite images. Journal of Advanced Navigation Technology, 27(6), 877-883. https://doi.org/10.12673/jant.2023.27.6.877
  8. Jeong, W. G., and Cho, S. M., 2003. The physiochemical characteristics of seawater and sediment of marine shellfish farm in Jindong Bay. Korean Journal of Malacology, 19(2), 161-169.
  9. Jha, D., Smedsrud, P. H., Riegler, M. A., Johansen, D., de Lange, T., and Halvorsen, P., et al, 2019. ResUNet++: An advanced architecture for medical image segmentation. arXiv preprint arXiv:1911.07067. https://doi.org/10.48550/arXiv.1911.07067
  10. Jo, M. H., 2011. Measuring the quantities of aquaculture farming facilities for seaweed, ear shell and fish using high resolution aerial images - A case of the Wando region, Jeollanamdo -. Journal of the Korean Association of Geographic Information Studies, 14(2), 147-161. https://doi.org/10.11108/kagis.2011.14.2.147
  11. Kang, J. H., and Lee, N. S., 2004. Observation of laver farming with satellites image and its applications. Ocean Policy Research-KMI, 19(2), 47-76.
  12. Kim, D. R., Kim, H. H., Kim, W. H., Ryu, D. H., Gang, S. M., and Choung, Y. J., 2016. Development of a prototype system for aquaculture facility auto detection using KOMPSAT-3 satellite imagery. Journal of the Korean Association of Geographic Information Studies, 19(4), 63-75. http://doi.org/10.11108/kagis.2016.19.4.063
  13. Kim, I. K., Lim, H. S., Ho, T. K. K., Kang, J. Y., and Gwak, J. H., 2021. Imbalanced dataset training techniques with hard negative mining and sample selection. In Proceedings of the 2021 Korean Institute of Next Generation Computing, Gwangju, Republic of Korea, May 13-15, pp. 391-394. https://www.earticle.net/Article/A409383
  14. Lee, J. B., and Choi, J. M., 2019. A study on detection of ocean farms in coastal area by using UAV photogrammetry and Faster-RCNN algorithm. Journal of Knowledge Information Technology and Systems, 14(2), 145-156.
  15. Lee, S. J., Jeong, W. G., Cho, S. M., and Kwon, J. N., 2016. Estimation of carrying capacity by food availability for farming oysters in Goseong Bay, Korea. The Korean Journal of Malacology, 32(2), 83-93.
  16. Lee, W. C., Cho, Y. S., Hong, S. J., Kim, H. C., Kim, J. B., and Lee, S. M., 2011. Estimation of ecological carrying capacity for oyster culture by ecological indicator in Geoje-Hansan Bay. Journal of the Korean Society of Marine Environment & Safety, 17(4), 315-322. http://doi.org/10.7837/kosomes.2011.17.4.315
  17. McFEETERS, S. K., 1996. The use of the Normalized Difference Water Index (NDWI) in the delineation of open water features. International Journal of Remote Sensing, 17(7), 1425-1432. https://doi.org/10.1080/01431169608948714
  18. Mishra, S., and Mishra, D. R., 2012. Normalized difference chlorophyll index: A novel model for remote estimation of chlorophyll-a concentration in turbid productive waters. Remote Sensing of Environment, 117, 394-406. https://doi.org/10.1016/j.rse.2011.10.016
  19. Oktay, O., Schlemper, J., Folgoc, L. L., Lee, M., Heinrich, M., and Misawa, K., et al, 2018. Attention U-Net: Learning where to look for the pancreas. arXiv preprint arXiv:1804.03999. https://doi.org/10.48550/arXiv.1804.03999
  20. Ren, S., He, K., Girshick, R., and Sun, J., 2015. Faster R-CNN: Towards real-time object detection with region proposal networks. arXiv preprint arXiv:1506.01497. https://doi.org/10.48550/arXiv.1506.01497
  21. Ronneberger, O., Fischer, P., and Brox, T., 2015. U-Net: Convolutional networks for biomedical image segmentation. arXiv preprint arXiv:1505.04597. https://doi.org/10.48550/arXiv.1505.04597
  22. Yang, C. S., and Park, S. Y., 2006. Facilities analysis of laver cultivation grounds in Korean coastal water using SPOT-5 images in 2005. Journal of the Korean Society for Marine Environment & Energy, 9(3), 168-175.

Korean Journal of Remote Sensing