대다수의 해양사고가 선박으로 인해 발생하기에 위성영상을 활용하여 선박을 탐지, 식별하는 것은 자동식별시스템(Automatic Identification System, AIS) 등의 위치 센서를 활용한 선박 모니터링 대비 광대역 선박 추적이 가능하다(Vachon et al., 1997). 야간, 악기상 시 영상 획득이 불가능한 광학 위성영상과는 달리, 합성개구 레이다(Synthetic Aperture Radar, SAR) 위성은 안정적이고 주기적인 영상 취득이 가능하기에 악기상 시 주로 발생하는 실제 해양사고 대응에 활용하기에 더욱 효과적이라고 판단된다(Wang et al., 2017). 선박의 위치를 SAR 위성영상을 기반으로 탐지하기 위해 선박의 형상과 형태학적 특징을 활용할 수 있는 인공지능, 특히 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 객체탐지 알고리즘이 다수 사용되었다(Li et al., 2021). 이러한 인공지능 기반의 탐지 알고리즘은 선박에 대한 정확한 학습자료(Training data)를 필요로 하며, 특히 선박의 위치 이외에 종류까지 추정하는 선박 식별(Recognition)의 경우 선박의 상세한 형상을 요구하기에 선박 학습자료를 정밀하게 생성하는 것이 필수적이다(Song et al., 2020).

SAR 영상은 안테나에서 송신한 전파가 표적에 맞고 돌아온 신호를 기록하여 생성하기에 표적이 속도를 가지고 이동할 경우, SAR 영상 내의 표적 형상에 도플러 효과(Doppler effect)가 발생하게 된다. 표적의 이동방향에 따라 표적의 위치 또는 위상이 왜곡될 수 있으며, 이는 이동 표적의 속도를 SAR 영상으로부터 추출할 수 있는 근거로 작용한다. 이동 표적의 속도의 방향에 따라 위성 이동방향과 나란한 방위 방향의 속도 v_x는 표적의 위상을 왜곡시키고, 전파가 나가는 거리방향의 속도 v_y는 표적의 위치를 왜곡시킨다고 알려져 있다(Heiselberg et al., 2023; Pelich et al., 2015).

표적의 위상왜곡은 단순히 SAR 영상 내 표적 속도에 의해서만 나타나는 것이 아니라, 항공기 SAR에서 흔히 발생하는 요동과 장파장대역을 활용한 위성 SAR의 이온 전리층 간섭에 의해서도 발생할 수 있다(Zeng et al., 2022). 위상왜곡을 개선하기 위한 위상경사 자동초점화(PhaseGradient Autofocusing, PGA) 기법과 이를 변형한 다수의 자동초점화 기법들이 활용되었다(Wahl et al., 1994). 그러나 대다수의 고해상도 SAR가 활용하는 X-band 대역에서의 위상왜곡은 표적 속도에 의해 발생하기에, 이를 활용하여 이동 표적의 위상 왜곡을 보정하는 것 역시 PGA와 같은 자동초점화 기술을 적용하는 것보다 더욱 효과적일 것으로 판단된다. 여기에 더해 이동 표적의 속도를 직접 활용하여 SAR 위상 왜곡을 성공적으로 보정할 경우, 표적의 속도를 SAR 영상만으로 추출할 수 있을 것으로 판단된다.

이동 속도를 활용한 위상 왜곡 보정은 초점화 성능을 높일 뿐 아니라 이동선박의 형상에 적용할 경우, 선박의 속도를 추정하고 이동 선박의 식별 정확도를 높일 수 있을 것으로 판단된다. 선박 속도를 활용하여 위상 왜곡을 보정한 SAR 영상을 학습자료로 활용하여 선박 탐지 알고리즘을 개발하였을 때, 탐지 정확도가 기존 대비 향상되었으며(Song and Kim, 2023), 특히 위상 왜곡 보정 시 선박의 형상이 선명해지며 갑판, 함교 등과 같은 선박 내 구조물의 산란특성이 크게 부각되기에 이를 선박의 종류를 추정하는 데 활용할 수 있을 것으로 판단하였기 때문이다.

본 연구에서는 다양한 종류의 고해상도 SAR 영상 내의 이동 선박에 대해 선박 속도 기반의 위상 왜곡 보정 알고리즘을 적용한 뒤, 이를 기존 자동초점화 알고리즘과의 성능 비교를 통해 본 알고리즘이 이동 선박의 위상왜곡을 보상하고, 선박의 형상을 선명하게 복원하는 데 효과적이라는 것을 보였다. 나아가 기존 인공지능 기반의 객체 탐지 알고리즘을 본 알고리즘으로 위상 보정한 선박의 형상을 학습자료로 활용하여 선박 식별 알고리즘을 개발한 뒤, 이를 위상 왜곡 보정 전의 선박 식별 알고리즘과 비교하여 정확도를 평가하였다.

2.1. 이동선박의 속도에 의한 위상왜곡 보정 함수 개발

SAR 위상왜곡은 위성 진행 방향인 방위(Azimuth) 방향으로 표적의 상이 길게 깨져 영상의 품질을 저하시키는 현상이다(Kim et al., 2003). 이동 표적의 속도뿐만 아니라 SAR 안테나의 요동이나 장파장대역의 이온 전리층 간섭 역시 SAR 위상왜곡에 영향을 줄 수 있는데, 고해상도 X-band 위성 SAR에서는 이동 표적의 속도가 전적으로 위상왜곡에 기여하게 된다(Sharma et al., 2005). SAR 안테나와 표적 선박 사이의 거리(Slant range)는 Fig. 1과 같은 조건에서 정의되며, 표적이 속도를 가지고 이동할 경우, 거리 방정식 역시 표적의 속도에 영향을 받게 된다.

Figure 1. SAR image acquisition on moving target focused on (a) SAR acquisition geometry on a moving vessel and (b) its Doppler history.

SAR 위성의 속도 v_a와 선박의 방위 방향 및 거리(Range) 방향의 속도 v_x, v_y에 대하여 방위 방향의 시간 η가 흐른 뒤의 위성과 표적 사이의 거리는 기준 거리인 R₀가 아닌 시간과 위성, 선박의 속도에 의존하는 함수 R(η)로 식(1)과 같이 정의된다. 이 때, SAR 위성영상의 이동 표적의 위상은 식(1)의 거리를 활용하여 식(2)와 같이 유도되는데, 이는 시간에 대한 2차 함수로 나타난다. 위상의 도함수는 주파수이기에 이동 표적의 도플러 주파수는 식(3)과 같이 표현할 수 있으며, v_y는 도플러 주파수의 y–절편을, v_x는 도플러 주파수의 기울기를 왜곡시키게 된다.

Fig. 2와 같이 v_y와 v_x에 의해 SAR 영상 내의 표적의 왜곡은 각각 위치, 위상 왜곡의 형태로 나타나게 된다. 거리 방향속도 v_y에 의해 발생한 도플러 주파수의 y–절편은 시간 축에서 형상을 이동시키는 효과를 나타내고, 그에 따라 이동 표적이 SAR 영상의 원래의 위치가 아닌 다른 곳에 등장하게 된다. 이를 방위 오차(Azimuth offset)라고 한다(Kim et al., 2003). 방위 방향속도 v_x에 의해 발생한 도플러 주파수의 기울기 변화는 SAR 영상 형성 시 신호처리 정확도를 저하시키고, 그에 따라 이동 표적의 SAR 영상 내 위상이 왜곡되게 된다. 이를 방위위상왜곡(Azimuth defocusing)이라고 한다(Pelich et al., 2015). 이 때, 본 연구에서 제거하고자 하는 효과는 위상 왜곡이기에, 이동 선박의 v_x를 활용하여 위상 왜곡을 보정하는 재초점화(Refocusing) 함수를 개발하였다.

Figure 2. ICEYE SAR image of moving vessels illustrating (a) azimuth offset from vy and (b) azimuth defocusing from v_x.

SAR 영상의 위상 함수 (2)에서 위상 왜곡을 일으키는 항은 시간에 대한 2차항으로 식(4)와 같이 나타낼 수 있다. 이 때, 거리방향 주파수가 방위방향 주파수와 마찬가지로 변화하기에 중심주파수에서 정의된 기준 파장 λ₀가 거리방향 주파수의 변화에 따라 바뀌게 된다. 이렇게 변화한 파장 λ_τ로 정의할 수 있고, 이는 식(5)와 같이 나타낼 수 있다. 식(4)에 (5)의 수식을 적용하면, 위상 왜곡을 일으키는 시간에 대한 2차항을 주파수 도메인으로 변환할 수 있고, 이는 식(6)과 같이 나타낼 수 있다.

이 때, 식(7)과 같이 정지하고 있는 물체의 위상 φ_vx=0을 제거하고, 특정 v_x로 이동하는 물체의 위상 φ_vx≠0을 곱하면 해당 속도에 의한 위상 왜곡 형상 φ_comp을 생성할 수 있다. 식(6)과 (7)을 통합할 경우, 주어진 초기값 속도 v_x에 대한 위상 왜곡 형상을 모의할 수 있는 선박 속도 기반 위상왜곡 보정, 즉 재초점화 함수를 (8)과 같이 개발할 수 있다. 방위 방향 및 거리방향의 주파수는 f_τ, f_η로, λ₀는 레이더 파장을, c₀는 광속을 나타낸다. 식(8)에 다양한 초기값 속도 v_x를 대입하여 속도에 의한 위상 왜곡을 모의할 수 있으며, 식(2), (3)에서 나타난 위상 함수 및 도플러 주파수의 원리에 따라 이동선박의 실제 v_x에 가까워질수록 위상 왜곡되었던 이동 선박의 상이 선명해지게 된다(Pelich et al., 2015).

본 연구에서는 다양한 고해상도 SAR 영상 내의 선박들에 대해 위상 왜곡 형상을 모의하기 위하여 3종의 1 m해상도 X-band SAR 위성인 Kompsat-5, ICEYE, Umbra를 선정하여 1 m/s 이상의 속도를 가지는 29척의 선박에 대해 식(8)을 적용하였다. Table 1은 활용한 SAR 위성영상들의 정보를 나타낸다.

Table 1 . Specifications of three X-band SAR satellite data.

SAR sensor	Kompsat-5	ICEYE	Umbra
Polarization	HH	VV	HH or VV (Single pol.)
Bandwidth	2.4 × 108 Hz	3.0 × 108 Hz	12.0 × 108 Hz
Swath	5 km	5 km	4 km
Pulse Repetition Frequency	3800 Hz	6200 Hz	3600 Hz

2.2. 이동 선박에 대한 위상왜곡 보정 함수 적용을 통한 선박 형상 재초점화

다양한 초기값 v_x에 대한 위상왜곡 형상들을 이동하는 선박들에 대해 생성한 뒤 가장 선명한 영상을 선정할 필요가 있다. 영상의 초점화 정도를 평가하는 다양한 지표들 중 본 연구에서는 엔트로피(Entropy)를 도입하였다.

식(9)의 정규화한 SAR 진폭 s에 의해 정의된 엔트로피는 무질서도를 나타내는 지표로 특정 영역에 영상 화소 값이 몰려 있을수록 값이 낮고, 영상 전체에 고르게 퍼져 있을수록 값이 높게 나타난다(Zeng et al., 2013). 이를 초점화 관점에서 판단할 경우, 엔트로피가 낮을수록 선명한 상이고 초점화 성능이 높다고 볼 수 있다. 7장의 ICEYE, 5장의 Kompsat-5, 2장의 Umbra SAR 위성으로부터 선정된 29척의 이동 선박에 대해 –10 m/s 부터 10 m/s까지 0.1 m/s의 간격으로 v_x 초기값을 식(8)에 대입하였고, 201장의 위상 왜곡된 형상을 각 선박마다 생성하였다. 생성된 위상 왜곡 SAR 영상들 중 가장 낮은 엔트로피 값을 보이는 선박의 형상을 선정하게 된다.

Fig. 3는 식(8)을 활용한 이동 표적 속도 기반의 선박 위상 왜곡 보정 과정을 나타낸다. 이동 선박의 영역에 대해 다양한 표적 속도를 초기값으로 한 선박 위상왜곡 형상을 생성하고, 각 형상들에 대한 엔트로피 값을 식(9)를 활용하여 계산하게 된다. 위상왜곡 형상에서 계산한 엔트로피 중 선박의 실제 속도와 가장 유사한 속도에서 엔트로피가 가장 낮아지고, 그에 해당하는 선박의 형상이 왜곡이 보정된 선박의 형상이 된다.

Figure 3. Target Velocity Phase Refocusing using different vessel initial velocities.

위성 SAR에서는 항공기, 차량 SAR와는 달리 요동에 의한 위상왜곡이 거의 발생하지 않으며(Wahl et al., 1994), 그에 따라 이동 선박의 SAR 영상 내의 위상 왜곡은 전적으로 선박의 속도에 의해 발생하게 된다. 즉, 기존의 자동초점화 기법의 알고리즘 대비 본 연구에서 제시한 속도 기반의 재초점화 함수를 적용할 경우 더 높은 위상 왜곡 보정 정확도를 얻을 수 있을 것으로 판단되었다. 기존 자동초점화 함수 중 대표적인 알고리즘인 PGA는 위상 왜곡이 발생한 영상에 대해 강한 산란특성을 보이는 산란체들을 내림차순으로 정렬하고, 위상 경사(Phase gradient)를 반복적으로 측정하여 보정하는 방식으로 위상왜곡을 보정하게 된다. 위상 경사의 보정은 (10)의 식으로 구현되는데, 해당 알고리즘은 강한 산란체가 단독으로 존재하는 Point target에 대해 위상 경사 추정이 가장 용이하고, 선박과 같이 강한 산란체가 연달아 존재하는 경우 완전한 적용이 어렵다는 단점이 있다. Im은 복소수의 허수부를, *는 켤레 복소수(Complex conjugate)를, SLC 영상 S의 위상 경사값은 dS로 나타낼 수 있다.

본 연구에서 제안한 이동 표적 속도 기반의 재초점화 함수는 3종의 고해상도 SAR 위성에서 추출한 29척의 이동 선박에 대해 적용되었고, 여기에 대해 동일하게 PGA를 적용하여 엔트로피 값을 비교하였다.

2.3. 인공지능 기반 선박 식별 알고리즘 및 선박 학습자료 구축

이전 연구에서는 제안한 속도 기반 재초점화 알고리즘이 이동 선박의 선명한 상을 생성하여 인공지능 기반 선박 탐지 정확도를 향상시킬 수 있다는 것을 보였다(Song and Kim, 2023). 본 연구에서는 재초점화를 활용한 선박 SAR 형상의 선명화가 선박의 종류를 추정하는 선박 식별 알고리즘의 정확도 역시 향상시킬 수 있다고 판단하였다. 이에 선행연구(Song and Kim, 2023)에서 활용한 객체 탐지 알고리즘인 You Only Look Once version 4 (YOLOv4)를 다종 분류 객체 탐지 알고리즘으로 개량한 뒤, 재초점화를 적용한 이동선박을 분류하여 학습자료로 활용하여 선박 식별 알고리즘을 개발하였다(Bochkovskiy et al., 2020). YOLOv4는 다른 객체탐지 알고리즘 대비 왜곡이 발생한 영상에서 더 강건한 성능을 보이는 것으로 확인되어 본 연구에서 활용하기 적합하다고 판단되었다(Yuan et al., 2022). 이 때, 선박 식별 알고리즘은 탐지 알고리즘 대비 더 많은 수의 학습자료를 요구하기에, 선명화에 활용한 3종의 SAR 위성영상들 중 다수의 위성영상이 확보된 ICEYE SAR 영상만을 활용하였다.

AIS 정보에 명시된 선박은 100종 이상이지만(Zhao et al., 2013) 이를 모두 SAR 영상으로부터 식별하기는 사실상 불가능하기에 본 연구에서는 7종의 대표적인 선박을 선정한 뒤, 유사한 산란 특성을 보이는 선박들끼리 3종으로 재구성하였다. 이 때, 7종의 선박들 중 임의로 5척의 선박을 선정한 뒤, 이들을 다른 종의 선박들과의 산란 특성 유사도를 평가하는 방식으로 3종의 선박으로 재분류하였다.

선박 재분류에 활용한 지표는 구조적 유사도(Structural Similarity Index, SSIM)로 두 영상 s₁, s₂에 대한 평균, 표준편차, 공분산인 μ, σ, ρ를 활용하여 식(11)과 같이 나타낸다(Wang et al., 2004). SSIM의 값은 0에서 1 사이로 정의되며, 값이 1에 가까울수록 두 영상이 유사하다는 것을 나타낸다. Fig. 4는 7종의 선박 종류 중 임의의 두 선종의 SSIM분석 결과로, 화물선(Cargo)-유조선(Tanker), 어선(Fishing)-범선(Sailing)이 높은 SSIM값을 보였다.

Figure 4. Similarity analysis on seven different vessel classes using SSIM.

Fig. 5는 SSIM을 활용한 다종 선박 유사도 비교에 사용한 선박 예시 영상으로, 해당하는 각 선박들을 동일 방향으로 회전시키고, 동일 크기로 조정한 뒤에 SSIM을 모두 비교하게 된다. 본 연구에서는 각 선종 별 5척의 선박에 대해 가능한 다종 선박 간의 모든 조합으로부터 SSIM을 계산하였고, 이에 대해 평균값을 취하여 Fig. 4와 같은 SSIM기반의 유사도 평가를 수행하였다.

Figure 5. Aligned sample vessels acquired from SAR images on different classes.

본 연구에서는 153척의 선박을 포함한 12장의 ICEYE SAR 영상이 선박 식별 알고리즘 학습에 활용되었고, 63척의 선박을 포함한 4장의 ICEYE SAR 영상에 대해 식별 알고리즘의 정확도를 평가하였다. Fig. 3의 결과에 따라 선박은 화물선(Cargo)-유조선(Tanker) (Class 1), 어선(Fishing)-범선(Sailing) (Class 2), 그 외의 선박(Class 3)으로 재분류 하였으며, 이동 표적 속도 기반 재초점화 알고리즘으로 재초점화 이전의 ICEYE SAR 영상을 대조군으로 활용하였다.

본 연구에서는 제안된 이동 표적 속도 기반의 재초점화 함수를 이동 선박에 적용하는 과정을 두 가지 측면에서 평가하였다. 우선, 이동 표적 속도에 의한 위상왜곡 보정 효과 자체를 평가하기 위해 대조군으로 설정한 자동초점화 함수인 PGA와 초점화 후의 엔트로피 값을 비교하였다. 또한, 선박 식별 알고리즘을 활용하여 이동 표적 속도 기반의 재초점화 함수 수행 이전과 이후에 대해 선박 식별 정확도가 향상되는 지를 검증하였다.

먼저 위성 SAR에서 발생할 수 있는 이동선박 속도에 의한 위상왜곡 보정 자체의 성능 검증을 위해 자동초점화 알고리즘인 PGA를 29척의 이동선박에 대해 동일하게 적용하여 엔트로피를 비교하였다. Fig. 4는 PGA와 속도 기반 재초점화 알고리즘 간의 엔트로피 값을 나타나며, 이를 통해 거의 모든 이동 선박에서 PGA 대비 속도 기반의 위상왜곡 보정 재초점화 함수가 더 낮은 엔트로피 값을 보이는 것을 확인하였다. Fig. 5는 본 연구에서 제안한 속도 기반의 재초점화 함수를 Kompsat-5, ICEYE, Umbra SAR 영상 내 이동선박에 적용한 예시이다. 엔트로피의 정의에 의해 특정 화소에 값이 몰려 있는 선명한 상일수록 낮은 엔트로피 값을 보이기에 본 연구에서 제안한 이동 표적 속도 기반의 재초점화 함수가 자동초점화 함수인 PGA보다 더 높은 성능을 보이는 것을 확인하였다.

본 연구에서 제안한 이동 표적 속도 기반 재초점화 함수가 실제 선박 식별을 정량적으로 증가시킬 수 있는지를 판단하기 위해 YOLO 기반의 객체 탐지 알고리즘을 선박 식별 알고리즘으로 개량하여 정확도 평가를 진행하였다. 개발한 선박 식별 알고리즘의 정확도는 객체 탐지 알고리즘에서 활용되었던 지표 3가지인 정밀도(Pr, Precision), 재현율(Re, Recall), F1-score를 식(12)–(14)와 같이 사용하였다(Song et al., 2020). 정밀도는 탐지한 객체(n_d) 중 정확히 탐지한 객체(n_a)의 비율을, 재현율은 전체 객체(n_t) 중 정확히 탐지한 물체의 비율을 나타낸다(Lin et al., 2018). 일반적으로 정밀도와 재현율이 반비례하기에, 종합 정확도 평가에는 이 둘의 조화평균인 F1-score를 활용한다. Table 2는 재분류한 3가지 선종에 대한 식별 결과를 나타내며, 재초점화 이전 0.6767였던 탐지 정확도가 0.8125로 상승하였다.

Table 2 . Vessel recognition performance comparison.

SAR Data	Class	F1	Precision	Recall	nt	nd	na
After Phase Refocusing	Total	0.8125	0.8000	0.8253	63	70	45
	1	0.6667	0.7778	0.5833	12	8	3
	2	0.8736	0.8261	0.9268	41	48	35
	3	0.7000	0.7000	0.7000	10	14	7
Reference (Before Phase Refocusing)	Total	0.6767	0.6429	0.7143	63	65	52
	1	0.3000	0.3750	0.2500	12	9	7
	2	0.7865	0.7292	0.8537	41	46	38
	3	0.5833	0.5000	0.7000	10	10	7

본 연구의 결과는 속도 기반 SAR 위상왜곡 보정 재초점화 함수를 활용할 경우, 이동선박의 선명도를 개선시키고, 이를 기반으로 선박의 식별 성능을 향상시킬 수 있다는 것을 보였다. 향후 대량의 SAR 위성영상을 확보하여 재초점화 알고리즘을 적용 후 식별을 위한 선박 학습자료를 취득할 경우, 이를 활용한 강건한 선박 식별 알고리즘을 개발하여 효과적인 해양 모니터링 시스템을 구축할 수 있을 것으로 기대한다.

전천후 SAR 위성으로부터 선박을 모니터링하는 것을 대다수의 해양인명사고를 야기하는 선박을 효과적으로 감시할 수 있다는 점에서 매우 중요한 의의를 가진다. 이동하는 선박은 SAR 신호 특성으로 인 해 선박의 형상에 도플러 효과가 발생하는데, 이 중 v_x에 의한 위상 왜곡이 발생할 경우 선박 식별을 크게 저해할 수 있다. 본 연구에서는 표적 속도에 의한 위상왜곡을 보정하는 재초점화 함수를 활용하여 다종 SAR 위성영상 내의 이동 선박의 위상왜곡을 보정하고, 이를 학습자료로 활용하여 선박의 식별 정확도를 향상시킬 수 있다는 것을 보였다. 기존의 자동초점화 알고리즘인 PGA를 이동 선박에 동일하게 적용하였을 때 대비 속도 기반의 재초점화는 더 높은 초점화 성능을 보였으며, 선박 식별 정확도 역시 재초점화 후의 SAR 영상을 활용했을 때 크게 개선되었다. 향후 대량의 SAR 위성영상을 활용하여 재초점화 후의 선박 형상을 학습자료로 활용할 경우, 보다 강건한 선박 식별 알고리즘을 개발하여 해양 모니터링 시스템 구축에 기여할 수 있을 것으로 기대된다.

Figure 6. Entropy comparison between PGA and Target Velocity Phase Refocusing application.

Figure 7. Enhancement of SAR phase focusing on moving vessel using the proposed refocusing algorithm.

이 논문은 대한민국 정부(산업통상자원부 및 방위사업청) 재원으로 민군협력진흥원에서 수행하는 민군기술협력사업(22-CM-16)과 해양경찰청 재원으로 해양수산과학 기술진흥원의 지원(RS-2023-00238652, 해양경찰 위성활용 기반 기술 개발)을 받아 수행된 연구임.

No potential conflict of interest relevant to this article was reported.