드론의 활용은 최근 빠르게 확대되며, 건설, 재난 관리, 환경 모니터링 등 다양한 분야에서 공간 데이터를 신속히 수집하는 핵심 수단으로 자리 잡았다. 비용 효율성과 유연성을 바탕으로, 건설 현장에서는 구조물 상태를 정기적으로 점검하고, 재난 관리에서는 피해 지역을 신속히 분석하는 데 활용되는 등 정기적인 데이터 수집이 필요한 작업에서 중요한 역할을 하고 있다. 이러한 작업에서 드론 영상을 효과적으로 활용하려면 정밀한 지오레퍼런싱(Georeferencing)이 필수적이다. 예를 들어, 재난 관리에서는 피해 지역의 변화를 정확히 파악하기 위해 일관된 위치 정보가 필요하며, 디지털 트윈과 같은 고해상도 데이터 응용에서도 정확한 위치 정보는 데이터 활용의 핵심 요소다. 위치 정보가 부정확할 경우 데이터 신뢰도가 저하되고 오류로 인한 잘못된 의사결정을 초래할 수 있다.

드론에 탑재된 GPS/INS와 같은 측위 센서를 이용한 직접 지오레퍼런싱 방식은 처리 속도가 빠르지만, GPS/INS의 측정 오차로 인해 정확도가 저하될 수 있다. 이에 반해, 지상기준점을 활용한 번들 조정 기반의 간접 지오레퍼런싱 방식은 높은 정확도를 제공하지만 처리 시간이 길고 많은 자원이 요구된다. 다수의 지상기준점을 사용하면 정밀도를 높일 수 있으나, 그 과정에서 막대한 시간과 노력이 소요되고 데이터 규모가 증가할수록 비효율성이 심화된다. 지상기준점 수를 줄이면서 품질을 유지하기 위해 Real Time Kinematic (RTK)과 같은 보조 센서를 사용할 수 있지만, 지상기준점을 완전히 배제하는 것은 권장되지 않는다(Becker and Klonowski, 2023).

지상기준점을 수작업으로 측점하는 과정은 비효율적일 뿐 아니라, 데이터 규모가 커질수록 오류 발생 가능성이 증가하는 문제가 있다. 정밀하게 측점된 지상기준점은 센티미터 또는 밀리미터 수준의 정확도를 제공할 수 있지만, 측점 오류가 발생하면 정확성과 신뢰도가 크게 떨어질 수 있다. 이러한 문제를 해결하기 위해, 정밀한 지오레퍼런싱 자동화가 요구된다. 자동화 방식은 사람의 개입을 최소화하고, 대규모 데이터 환경에서도 일정한 정확도와 효율성을 유지할 수 있어 점차 그 중요성이 강조되고 있다.

드론 영상 지오레퍼런싱의 자동화를 위한 다양한 접근법이 제안되어 왔다. 간접 지오레퍼런싱에 사용되는 지상기준점은 정밀하게 측정된 점 기반의 기준 데이터로, 이를 선점하는 방식은 크게 두 가지로 나뉜다. 첫번째는 드론 영상 촬영 지역에 영상 상에서 명확히 구분할 수 있는 지형지물을 활용하는 경우로, 해당 지점을 기준점으로 선점한다. 두 번째는 명확한 지형지물이 없는 경우로, 이때는 대공표지와 같은 인공 마커를 설치하고, 이를 기준으로 지상기준점을 취득한다. 드론 영상은 장비 특성상 특정 범위 내에서 데이터를 수집하기 때문에 대공표지가 자주 활용된다. 이와 같은 대공표지를 활용해 지상기준점을 자동으로 측정하여 지오레퍼런싱을 자동화하는 연구도 다수 수행되었다.

Siki and Takács (2021)는 드론 이미지에서 지상기준점을 자동으로 탐지하는 연구를 통해 ArUco 마커의 크기와 색상을 최적화함으로써 다양한 조명 조건에서도 높은 탐지 정확도를 달성하였다. 이와 유사하게 Benz and Rodehorst (2022)는 3D 모델의 구조물 상태 모니터링을 위한 자동화된 제어점 검출 절차를 제안하였다. 이들은 간단하고 비용 효율적인 체커보드 마커를 설계하여, 계층적 다중 스케일 어텐션 기반 전이 학습과 RANSAC 절차를 통해 검출된 점과 측량된 점 간의 기하학적 관계를 분석하고 변환을 결정하였다. 체커보드 마커는 직관적이고 제작이 용이하며, 테두리에 ID를 추가하여 기준점 식별을 간편하게 할 수 있다는 점에서 활용 가능성이 높았다. 또한, Chuanxiang et al. (2023)은 YOLOv5-OBB 모델을 활용하여 지상기준점 탐지의 정확도를 높이는 연구를 수행하였다. 이 연구에서는 신뢰도 임계값 필터링 알고리즘과 최적 랭킹 알고리즘을 결합해 인공마커 탐지 성능을 더욱 개선하였다. 이러한 연구들은 드론 영상 지오레퍼런싱의 자동화와 정확도 향상을 위해 다양한 접근법을 시도하고 있음을 보여준다.

대공표지와 같은 인공마커를 이용한 자동화 방법의 이점은 데이터 취득 시점에 인공마커를 환경에 맞게 배치할 수 있어 유리하며, 이를 통해 새롭게 취득한 영상에서 인공마커를 빠르게 감지할 수 있다는 점이다. 또한, 기하학적 패턴이 명확하여 인공마커 내 정보를 쉽게 추출할 수 있다는 장점도 있다. 그러나 이러한 인공마커는 직접 설치가 필요하다는 점에서 한계가 있다. 설치 작업은 비용과 시간을 소모하며, 특히 광범위한 지역에서는 현실적인 어려움이 따른다. 또한, 현장에서의 설치 요구로 인해 운영 효율성이 낮아질 수 있으며, 자연 환경에서의 적용은 더욱 제한적일 수 있다.

국토지리정보원에서 관리하는 Grount Control Point (GCP) chip은 지형지물을 기반으로 선점한 지점을 영상 패치 형태로 제작한 지상기준점의 일종이다. GCP chip은 지상기준점을 중심으로 일정한 크기로 정사영상의 일부를 잘라 제작되며, 이를 활용하면 작업자를 대신하여 자동화된 방식으로 측정할 수 있다. 국내에서는 국토위성의 정밀 정사영상 제작을 위해 한반도 전역에 GCP chip을 구축하였으며, 이를 활용해 수집된 국토위성 데이터를 기반으로 정밀 기하수립과 정사보정을 수행하고 있다(Park et al., 2020). 이처럼 위성영상의 정밀 기하보정에 활용 가능한 GCP chip은 국내에서는 국토지리정보원과 국방부 등이, 국외에서는 United States Geological Survey (USGS) 및 Environmental SystemResearch Institute (ESRI)와 같은 기관들이 주도적으로 구축하고 있다. 위성영상은 지속적으로 수집되고 있으며, 이러한 대량 데이터를 효과적으로 처리하기 위해 자동화된 접근이 필수적이다. GCP chip을 활용하면 위성영상의 지리적 정확성을 자동으로 보정하는 작업이 가능하다. GCP chip을 이용하여 위성영상의 보정에 사용한 연구가 수행되었다.

Park et al. (2020)은 한반도 전역을 대상으로 위성 영상과 정사영상을 기반으로 GCP chip을 구축하고, 이를 활용해 자동 GCP 추출 알고리즘을 개발하였다. 이 알고리즘은 GCP 추출 시간을 단축하고, 정밀 정사영상 생성 과정의 자동화를 통해 기하학적 보정의 정밀도를 크게 향상시켰다. Choi et al. (2024)은 고해상도 위성 영상과 GCP chip 모두에 업샘플링을 적용하여 정밀 센서 외부표정 요소를 설정하는 방법을 제안하였으며, 업샘플링이 매칭 성능을 향상시키는 데 효과적임을 실험적으로 입증하였다. Lee et al. (2022)은 25 cm Ground Sample Distance (GSD)의 GCP chip을 5 mGSD 위성 영상에 재활용하는 가능성을 검 토한 결과, 5 mGSD 원본 영상보다 업스케일된 1.25–1.67 mGSD 영상에서 매칭 정확도가 더 향상되는 것을 확인하였다. 또한, Oh et al. (2022)은KOMPSAT-3A위성 영상의 Rational PolynomialCoefficient (RPC) 편향 보정을 GCP chip을 활용해 수행했으며, 영역 기반 및 경계 기반 매칭 기법을 통해 대부분의 지역에서 1.5 픽셀 이내의 정확도를 달성하였다. 이들 연구는 GCP chip이 다양한 위성 영상의 정밀 보정 및 매칭 정확도 향상에 효과적으로 활용될 수 있음을 보여준다.

드론은 점점 더 넓은 지역을 촬영할 수 있는 기술적 발전과 함께, 정기적인 데이터 수집에 활용되는 사례가 늘어나고 있다. 그러나 매번 대공표지와 같은 인공마커를 설치하는 것은 시간과 비용 측면에서 비효율적일 뿐만 아니라, 넓은 범위에서 이를 반복적으로 설치하고 관리하기 어려운 한계가 있다. 이러한 점에서 GCP chip은 지형지물과 같은 자연적 특징을 영상 패치 형태로 저장하여, 별도의 인공마커 설치 없이도 활용할 수 있는 대안으로 주목받고 있다. 또한, GCP chip은 동일 위치에서 다양한 시기의 데이터를 수집할 수 있어, 토지 변화나 환경 모니터링처럼 오랜 기간 데이터를 분석해야 하는 연구에 특히 유용하다.

GCP chip과 같은 영상 기반 마커를 드론 또는 항공 영상의 지오레퍼런싱에 활용한 연구는 아직 소수에 불과하다. Tommaselli and Berveglieri (2014)는 고해상도 항공 영상에서 지상기준점을 자동으로 추출하는 연구를 수행했다. 이 연구에서는 측량기로 측정한 점 위에서 어안 렌즈가 장착된 디지털 카메라로 영상을 촬영하고, 이를 지상 영상 패치(Terrestrial image patch) 형태로 구성하였다. 삼각대를 사용해 약 5 m거리에서 수직으로 촬영함으로써 항공 영상과의 매칭이 용이하도록 설계되었다. 이어진 Berveglieri and Tommaselli (2015)의 연구에서는 항공 영상의 초기 외부 표정 요소를 활용해 두 영상의 방향을 정렬하고, SIFT 매칭 기법으로 영상 패치가 포함된 지역으로 검색 범위를 좁혔다. 이후, 2DHelmert 변환 수식을 수정하여 축척, 미세 회전, 이동 변환의 변수를 계산해 기하학적 정합성을 확보했으며, 상관계수 기반 영역 매칭을 통해 지상기준점의 위치를 정밀하게 계산했다. 8개의 지상기준점과 5개의 검사점을 사용해 정량적으로 검증한 결과, 모든 점에서 성공적인 매칭을 달성하며 평균 0.15 픽셀의 오차를 보였다. 이 연구는 위성 영상의 보정에 활용되는 GCP chip과는 구성 방식에 차이가 있지만, 영상 패치와 항공 영상 간 크기 차이가 큰 상황에서 검색 범위를 효과적으로 줄이는 방법의 중요성을 강조한다. 또한, 번들 조정을 통해 자동 측점이 반영된 3차원 복원 결과를 제시했으나 더 많은 데이터셋과 지상기준점이 필요하다는 한계도 확인되었다. 이어진 Berveglieri and Tommaselli (2017)에서는 자동화된 워크플로우를 개발하여 수동 측점에 비해 더 높은 정확도를 달성했음을 입증했다. 다만, 연구에서는 소수의 지상기준점과 영상만을 사용했기 때문에, 영상 매칭 실패나 정합 오류에 대한 체계적인 분석이 부족하여 추가적인 연구가 필요하다.

인공마커는 기하학적으로 설계된 패턴 덕분에 시각적으로 명확히 인식되며, 탐지 및 정합에서 높은 정확도를 제공한다. 픽셀 단위에서 정밀한 위치 인식이 가능하고 환경 변화에 덜 민감해 시기나 주변 조건의 영향을 적게 받는다. 반면, GCP chip은 자연 환경 속 특징을 기반으로 하기에 인공마커에 비해 탐지와 정합 과정에서 식별이 어려울 수 있다. 특히, 드론 영상에서 작은 영역을 차지하는 경우 정확한 위치를 찾는 데 어려움이 있을 수 있다. 대부분의 인공마커는 학습 기반 탐지로 자동화가 가능하지만, GCP chip은 초기 위치 정보를 기반으로 검색 범위를 제한해야 한다. 그러나 드론 영상의 초기 위치와 자세 정보가 부정확할 경우, GCP chip 정합의 검색 범위를 설정하기 어려워 정합 과정에서 추가적인 보정이 필요하다. 또한, GCP chip을 활용한 정합 자동화 과정에서는 항상 높은 정확도가 보장되지 않기 때문에, 결과를 후처리하여 신뢰도를 높이는 작업이 필수적이다. 드론 영상의 정밀한 지오레퍼런싱을 위해서는 이러한 선별 과정을 통해 최종 정확도를 높이고 신뢰성 있는 데이터를 제공하는 것이 중요하다.

본 연구의 목적은 드론 영상에서 지상기준점을 정밀하게 자동 측정하는 과정에서 발생하는 초기 위치 및 자세 오차를 해결하고, 이를 통해 고정밀 지오레퍼런싱을 가능하게 하는 것이다. 이를 위해 지상기준점 패치 기반 자동 측정과 번들 조정을 반복적으로 결합하여 오차를 점진적으로 줄여 나가는 자동 지오레퍼런싱 방법을 제안한다. 초기 위치 및 자세 정보의 오차로 인해 지상기준점 패치와 동일한 영역을 정확히 분할하기 어려운 문제를 해결하기 위해, 매칭 범위를 동적으로 조정하여 두 영상 간의 영역 불일치를 보정하고 자동 측정 정확도를 높이는 방법을 제시한다. 자동 측정 과정에서 신뢰도가 낮은 결과는 번들 조정 과정에서 큰 오차를 유발할 수 있으므로, 신뢰도가 높은 결과만 선별해 번들 조정에 반영할 수 있는 기준과 판별 알고리즘을 개발하고자 한다. 이 반복적 과정은 지상기준점 패치를 활용한 자동 측정의 정확도를 점진적으로 향상시키며, 최종적으로 정밀한 지오레퍼런싱 결과를 도출할 수 있도록 한다.

2.1. 연구 자료

2.1.1. 드론영상 및 지상기준점

본 연구에 사용된 데이터는 서울시립대학교 교내에서 다양한 시기, 드론 기종, 운용 경로를 통해 취득되었다. Table 1과 같이 총 3개의 데이터셋으로 구성되었으며, 이 중 일부는 지상기준점 패치 제작과 이진 분류기 학습에 사용되었고, 나머지는 지상기준점 패치 기반 드론 영상 지오레퍼런싱 검증에 활용되었다. 지상기준점 패치 제작용 데이터셋은 2021년 8월, DJI Phantom 드론을 사용하여 실험 지역에서 150 m고도에서 연직 촬영을 통해 취득하였으며, 총 257장의 드론 영상을 확보하였다. 이진 분류기의 초기 학습 데이터셋은 2022년 10월, DJIM30T 드론으로 120 m와 150 m 고도에서 촬영하여 총 633장의 드론 영상을 확보하였다. 검증 데이터셋은 2023년 4월, DJI Phantom 4 Pro 드론을 사용해 120 m고도에서 촬영하여 총 1,194장의 드론 영상을 확보하였다.

Table 1 . Drone image datasets.

Dataset	Acquisition date	Drone	Flight height	No. of Images	Resolution
1	21.08.12 10:00–12:00	DJI Phantom	160	257	1,600 * 1,300
2	22.10.22 10:00–13:00	DJI M30T	180	633	4,056 * 3,040
3	23.04.01 14:00–16:00	DJI Phatom 4	130	1194	5,472 * 3,648

2.1.2. 지상기준점 패치

지상기준점 패치를 제작하기 위해 실험 지역에서 총 50개의 지상기준점을 확보하였다. 실험 지역 내에서는 도로 표지 등 평평하고 구분이 명확한 지점을 중심으로 지상기준점을 선정하였으며, RTK를 이용해 측량을 수행하였다. 이 중 38개 지점은 지상기준점 패치 제작에 사용되었고, 나머지 12개는 검사점으로 활용되었다. Fig. 1에서 지상기준점의 분포를 확인할 수 있다. 지상기준점 패치는 첫 번째 데이터셋을 이용해 제작되었다. 제작 과정에서는 지상기준점을 활용하여 드론 영상의 정밀한 3차원 위치와 3차원 복원 결과를 생성한다. 지상기준점 패치는 정사영상에서 제작되기 때문에, 사진측량 공정을 통해 정사영상을 생성하고, 정사영상에서 지상기준점 패치 제작을 위한 위치를 측정한다. 각 지상기준점의 측정된 위치를 기준으로 200 × 200 크기의 지상기준점 패치를 제작하였다. 첫 번째 데이터셋을 기반으로 지상기준점을 활용해 드론 영상의 위치와 자세를 정밀하게 추정한 결과, 검사점을 이용한 확인에서 약 2 cm의 정확도를 달성하였다. 이를 바탕으로 사진측량 공정을 통해 드론 정사영상을 제작하였다. 제작된 드론 정사영상은 5.8 cm의 GSD를 가지며, 기복 변위가 잘 제거된 진정사영상이다. 첫번째 데이터셋에서 제작한 지상기준점 패치는 총 38개로, 측량에 활용된 지점들은 주로 도로 노면표시, 주차장, 맨홀 등에서 제작되었다. Fig. 2에서 제작한 지상기준점 패치의 예시를 확인할 수 있다. 정사영상이기 때문에 동적 객체는 포함되지 않았지만, 주차된 차량이나 식생의 영향을 확인할 수 있었다. 또한, 데이터가 정오 이후에 취득되었기 때문에 일부 지상기준점 패치에 그림자가 포함된 것도 확인되었다.

Figure 1. Distribution of ground control points and checkpoints.

Figure 2. Generated GCP patches used in this study.

2.2. 연구 방법

본 연구에서는 지상기준점 패치를 활용하여 드론영상의 지오레퍼런싱을 자동화하는 방법을 제안한다. 간접 지오레퍼런싱에서 작업자가 지상기준점을 측점한다면, 지상기준점 측량 지점을 미리 확인하고 드론 영상 상에서 지상기준점의 위치를 육안으로 확인하여 영상 상에서의 위치를 결정한다. 하지만 육안으로 확인하는 과정을 지상기준점 패치로 대체하여 자동화한다면, 측점 과정에서 영상 정합과 관련한 여러 오차가 포함될 수 있다. 따라서 본 연구에서는 지상기준점 패치를 통해 측점하는 과정에서 발생할 수 있는 오차를 점진적으로 줄이도록 함으로써, 드론 영상 지오레퍼런싱의 과정을 정밀하게 자동화하는 방법을 제안하고자 한다. 지상기준점 패치 기반 자동 지오레퍼런싱 방법은 크게 4단계로 구분된다.

첫 번째 단계는 지상기준점 패치로부터 지상기준점을 자동으로 측점하는 과정이며, 두 번째 단계는 자동 측점한 과정을 판별하는 과정이다. 세 번째 단계는 자동으로 측점된 지상기준점을 이용하여 번들조정하는 과정이다. 첫 번째 단계에서는 자동으로 측점하는 과정에서의 오차가 포함될 수 있고, 두 번째 단계에서는 선별 과정에 오차가 포함된 측점 결과가 포함될 수 있다. 세 번째 단계인 번들조정에서는 오측점된 지상기준점이 포함되어 조정결과에도 오차가 포함될 수 있다. 따라서 네 번째 단계에서는 조정된 결과를 다시 첫번째 단계에 전달함으로써, 모든 단계를 반복적으로 수행하도록 한다. 각 단계에서의 오차를 줄여나가도록 하여 최종적으로 정밀한 지오레퍼런싱 결과를 추정한다. 본 연구에서 수행한 방법의 흐름은 Fig. 3과 같다.

Figure 3. Flowchart of GCP patch-based automatic georeferencing for drone images.

2.2.1. 지상기준점 패치 제작 방법

본 연구에 사용한 지상기준점 패치는 지상기준점을 측점을 자동화하여 드론영상의 지오레퍼런싱을 자동화하는 목적으로 제작한다. 지상기준점 패치는 항공사진측량 작업규정에서 규정한 방식을 바탕으로 제작하였으며, 영상 정보와 메타 정보로 구성된다. 영상 정보는 항공정사영상에서 지상기준점을 중심으로 200 × 200 픽셀의 크기로 잘라 제작한다. 본 연구에서는 드론영상의 자동 지오레퍼런싱을 목적으로 수행하므로 드론 정사영상을 사용하여 제작한다. 지상기준점은 주변 영역이 평평한 지역을 선택하였으며, 도로 표지와 같이 경계가 명확한 곳으로 선점하였다. 또한, 식생이나 건물 등으로 가려지지 않을 수 있는 곳으로 정하였다. 메타 정보는 지상기준점의 위치, 지상 표본 거리, 드론 정사영상을 제작할 때 사용한 드론 영상의 취득일로 구성된다. 또한, 지상기준점 패치는 지상기준점 자동 측점 과정에서 특징점 매칭을 수행하게 되는데, 다수의 드론 영상과 매칭을 시도하기 때문에 특징점과 기술자는 미리 추출하여 저장한다. Fig. 4는 지상기준점 패치의 예시이며, 가운데 빨간색 X표가 지상기준점의 위치이고 분홍색으로 표시된 부분이 추출된 특징점이다.

Figure 4. Example of GCP patch.

2.2.2. 지상기준점 패치 기반 지상기준점 자동 측점

지상기준점 패치 기반 자동 지오레퍼런싱의 첫 번째 단계는 지상기준점 패치를 활용하여 지상기준점을 자동으로 측정하는 과정이다. 이를 위해 지상기준점 패치와 드론 영상 간의 정합을 수행하여 지상기준점의 영상 좌표를 계산한다. 이 과정은 총 4단계로 구성되며, 첫 번째 단계는 두 영상 데이터 간 정합을 위해 매칭쌍을 계산하는 단계 이다. 지상기준점 패치는 드론 정사영상으로부터 제작되었기 때문에 모든 픽셀에 대응되는 위치 정보가 포함되어 있으며, 특히 중심은 지상기준점의 위치를 나타낸다. 드론 영상에는 탑재된 GPS/INS 센서로부터 취득한 초기 위치와 자세 정보가 제공된다. 이를 바탕으로 불필요한 정합 계산을 최소화하고 측정 오류를 줄이기 위해 각 드론 영상에 포함된 지상기준점 패치를 계산하여 매칭쌍을 구성한다. 매칭쌍 계산 과정에서는 드론 영상의 초기 위치와 자세를 활용하여 지상 커버리지를 추정하고, 해당 커버리지 내에 포함된 지상기준점을 선택하여 매칭쌍을 도출한다.

두 번째 단계에서는 드론 영상에서 지상기준점 패치와 유사한 영역으로 매칭 범위를 축소한다. 지상기준점 패치는 드론 영상의 일부 영역에 해당하며, 드론 영상 전체와 지상기준점 패치를 매칭하면 오매칭 지점이 발생할 가능성이 있다. 이를 방지하기 위해 지상기준점 패치의 정보와 드론 영상의 초기 위치/자세, 카메라 정보를 활용하여 지상기준점 패치가 포함될 수 있는 범위를 추정하고, 해당 영역을 중심으로 드론 영상의 일부를 잘라낸다. 매칭 영역을 계산할 때는 적절한 영역 크기를 설정하는 것이 핵심이며, 지상기준점 패치와 잘라낸 영상 사이의 정보가 일치할수록 지상기준점 패치 측정 결과의 오차 확률이 감소한다. 본 연구에서는 매칭 영역의 크기를 계산하기 위해 드론 영상의 초기 위치/자세의 센서 정밀도나 번들 조정 과정에서 추정된 정밀도를 활용한다.

오차 전파는 입력 변수들의 불확실성이 출력값에 미치는 영향을 식(1)과 같이 계산하는 방식이다. 이는 일반적으로 편미분과 입력 변수의 불확실성을 이용하여 수행된다. 영상 좌표에서의 오차는 카메라 위치 및 자세와 같은 외부표정요소의 불확실성이 전파되어 계산할 수 있다. 공선 방정식에 오차 전파를 적용하려면 각 입력 변수에 대해 편미분을 계산하고, 이를 변수의 불확실성과 결합하여 영상 좌표에서의 불확실성을 산출해야 한다. 드론 영상의 외부표정요소 각 변수에 대해 편미분을 수행하고, 각 변수의 불확실성과 곱하여 영상 좌표를 결정하는 모든 변수의 불확실성을 종합적으로 계산한다. 이때의 불확실성은 드론 영상 초기 위치/자세의 센서 정밀도나 번들 조정 과정에서 추정된 정밀도를 반영한다.

정밀도를 바탕으로 투영 범위가 결정되면, 지상기준점의 위치와 카메라 중심 간의 거리, 초점거리, 센서 크기를 활용하여 해당 지점의 드론 영상에서 GSD를 계산한다. 이후 지상기준점 패치의 GSD와 비교하여 지상기준점 패치의 범위가 대응되는 크기를 고려한다. 최종적으로, 정밀도를 기반으로 한 투영 범위와 GSD를 기반으로 한 투영범위를 합산하여 최종적인 검색 범위를 계산한다.

세 번째 단계에서는 특징점 매칭을 통해 두 영상의 변환 관계를 추정한다. 검색 범위가 축소된 후, Fig. 3과 같이 지상기준점 패치와 드론 영상 간의 영상 매칭이 수행된다. Fig. 3의 좌측 사진이 지상기준점 패치고, 우측 사진은 매칭 범위를 축소하여 잘라낸 영상이다. 두 영상에서 공통된 특징점을 찾아내는 과정이 중요하며, 본 연구에서는 SIFT 매칭 알고리즘을 사용하여 특징점을 매칭한다. 항공사진측량 작업규정에 따르면, 지상기준점은 평평한 지형에 배치되는 것이 권장되며, 영상 내에서도 지상기준점 주변은 평면으로 간주할 수 있다. 또한, 카메라와 대상 간의 거리가 멀기 때문에 두 영상 간의 관계를 호모그래피(Homography)로 정의하였다. 호모그래피 계산에는 최소 4개의 매칭점이 필요하지만, 일반적으로 영상 매칭에서는 4개 이상의 관측치가 생성된다. 이 중에는 정확하게 매칭된 점과 오매칭된 점이 혼재되어 있기 때문에, RANSAC 기반의 호모그래피 추정 방법을 사용하여 이상치를 제거하고 신뢰성 높은 변환 관계를 계산한다.

마지막 단계는 지상기준점의 영상 위치를 측정하는 과정이다. 호모그래피 변환 행렬이 계산되면, 이를 이용해 지상기준점 패치의 특정 점이 드론 영상에서 대응되는 지점을 산출할 수 있다. 지상기준점 패치는 지상기준점을 중심으로 제작된 영상이므로, 지상기준점 패치의 중심점에 호모그래피 변환 행렬을 적용하여 잘라낸 영상에서의 대응 지점을 계산한다. 마지막으로, 잘라낸 영상의 좌상단 좌표를 더하여 드론 영상에서의 최종 측정 결과를 산출한다.

2.2.3. 자동 측점 결과 선별

자동으로 측정된 결과는 여러 단계에서의 오차가 포함되어 정확한 측정이 이루어지지 않을 가능성이 있다. 이러한 결과를 번들 조정에 적용할 경우, 지오레퍼런싱 전체 과정에 부정적인 영향을 미칠 수 있다. 따라서 자동 측정된 결과 중 신뢰할 수 있는 결과만을 남기고 오차가 큰 결과를 제거하는 선별 과정이 필요하다. 정합 범위를 축소하는 과정에서 영상의 위치와 자세 그리고 카메라 내부 요소의 오차로 인해 범위를 잘못 축소하는 경우, 지상기준점 주변의 정보가 범위 내에 포함되지 않거나, 반대로 다른 정보가 지나치게 많이 포함되어 특징점 매칭이 제대로 수행되지 않을 수 있다. 매칭 범위 축소가 성공적으로 이루어졌더라도 지상기준점 패치 제작 시기와 새로운 영상 취득 시기의 차이로 인해 영상 매칭에서 오매칭이 발생할 수 있다. 또한, 새로 취득한 영상에 동적 객체가 포함된 경우 매칭이 실패하거나, 잘못된 변환 관계가 도출될 수 있다. 따라서 본 연구에서는 여러 단계에서 얻어진 지표를 기반으로 매칭 품질과 변환 관계의 신뢰성을 평가하고 이를 바탕으로 선별을 수행하고자 한다. 각 단계에서 도출된 지표를 종합적으로 분석하여 필터링 기준을 설정하며, 정확한 영상점의 좌표를 알 수 없는 자동화 과정에서는 해당 지표를 통해 자동 측정 결과의 신뢰성을 판별한다. 지상기준점 패치를 활용한 지상기준점 자동 측정 과정은 정합 영역 설정, 특징점 매칭, 변환 관계추정의 세 단계로 구성되며, 각 단계에서 확인할 수 있는 지표를 선정하여 선별에 활용한다.

이러한 배경에서 본 연구에서 선정한 주요 지표는 다음과 같다. 첫 번째 지표는 매칭 범위 축소 단계에서 도출된다. 여기서는 드론 영상 내에서 지상기준점이 영상 중심에 얼마나 가까운지를 나타내는 r/rmax 값을 계산한다. 여기서 r은 지상기준점이 영상 중심에서 떨어진 거리, rmax는 영상 내에서 가장 먼 대각선 거리이다. 지상기준점이 중심에 가까울수록 영상의 왜곡이 적고, 매칭의 신뢰도가 높을 가능성이 크기 때문에 해당 지표를 선정하였다. 두 번째 지표는 특징점 추출 단계에서 도출되는 값들이다. 특징점의 개수는 매칭에 사용될 정보의 양을 나타내는 중요한 지표로, 특징점이 많을수록 매칭의 정확도가 높아질 가능성이 크다. 또한, 특징점의 분포는 영상 내에서 특징점이 얼마나 고르게 분포되어 있는지를 평가하는 지표로, 분포가 균일할수록 매칭에서 발생할 수 있는 왜곡을 줄일 수 있다. 마지막으로, 특징점의 강도는 매칭 신뢰성을 판단할 수 있는 지표로, 강도가 높을수록 매칭에서 중요한 역할을 하는 특징점을 포함할 가능성이 크다. 세 번째 지표는 특징점 매칭 및 변환 관계 추정 단계에서 확인할 수 있는 값들이다. 평균 기술자 거리(Average descriptor distance)는 매칭된 특징점 간의 평균 거리로, 거리가 짧을수록 두 이미지 간의 유사도가 높음을 나타낸다. 내재 비율(Inlier ratio)은 매칭된 점 중에서 변환 모델에 적합한 점들의 비율로, 이 비율이 높을수록 매칭의 신뢰도가 높은 것으로 평가된다.

호모그래피 조건수(Homography condition number)는 계산된 변환 행렬의 조건수로, 조건수가 지나치게 크거나 작을 경우 변환이 왜곡되었을 가능성이 있다. 변환 잔차(Transformation residuals)는 두 영상 간의 호모그래피 변환 후 예상된 좌표와 실제 좌표 간의 유클리드 거리를 나타내며, 잔차가 작을수록 변환의 정확도가 높음을 의미한다. 절대 좌표 호모그래피(Absolute homography)는 호모그래피 변환을 통해 계산된 지상기준점의 절대 좌표와 실제 좌표 간의 유클리드 거리를 나타내며, 이 값이 작을수록 변환의 정확도가 높음을 의미한다. 영상 유사도는 두 영상의 지상기준점 주변의 전체적인 유사도를 평가하는 지표로, 높은 유사도는 두 영상 간의 정합 품질이 우수함을 나타낸다.

다중 변수 기반 이진 분류기로 랜덤 포레스트(Random Forest)를 사용한다. 수동으로 측점한 결과를 참값으로 하여, 참값과 자동 측점한 결과를 비교하여 특정 임계값에 따라 0 또는 1로 이진화하여 학습한다. 학습된 모델의 성능은 Receiver Operating Characteristic (ROC) 곡선을 사용해 평가한다. ROC곡선은X축에 False PositiveRate (FPR), Y축에 True Positive Rate (TPR)를 나타내며, 모델의 예측 성능과 오류율 간의 균형을 시각적으로 확인할 수 있다. 최적의 임계값은Youden’s Index (TPR - FPR)의 값이 최대가 되는 지점에서 설정한다. 학습 과정에서 도출된 최적 임계값은 새로운 데이터의 선별 과정에 사용된다.

학습된 랜덤 포레스트 모델과 최적의 임계값을 활용하여 Fig. 5의 도식과 같이 새로운 데이터의 자동 측정 결과를 선별한다. 자동 측정 과정에서 계산된 단계별 지표값을 모델의 입력으로 사용하면, 모델은 측정 결과가 신뢰할 수 있는지에 대한 확률 값을 출력한다. Fig. 5의 Prob. 열로 확인되는 것이 랜덤 포레스트를 통해 출력된 확률이다. 앞서 Youden’s index에서 임계값을 0.7로 설정하였다면, 출력된 확률이 학습 과정에서 도출된 최적 임계값인 0.7 이상인 결과만 번들조정 단계에 포함하고 임계값을 초과하지 못한 결과는 번들조정에서 제외한다. 자동 측정 결과 선별 과정에서는 단계별로 계산된 지표값과 학습된 모델을 결합하여 측정 결과의 신뢰도를 판단한다. 이를 통해 번들조정 단계에 포함되는 측정 결과의 신뢰도를 향상시키고, 최종적으로 드론 영상에서 지상기준점을 자동으로 보다 정확하게 측정할 수 있는 과정을 구현할 수 있다.

Figure 5. A diagram of the binary classification based on Random Forest.

2.2.4. 번들조정 및 갱신

학습된 다중 변수 이진 분류기를 통해 자동 측점 결과를 선별한 후, 신뢰할 수 있는 측점 결과를 이용하여 번들조정을 수행하고 이를 기반으로 지오레퍼런싱을 진행한다. 번들조정을 통해 드론 영상의 초기 위치와 자세에 포함된 오차와 카메라 내부 파라미터가 보정된다. 보정된 결과는 다음 반복 과정에서 활용되며, 이 과정을 지속적으로 반복한다. 번들조정 과정에서는 영상의 위치와 자세에 대한 추정 정밀도를 확인할 수 있다. 이 추정 정밀도는 드론 영상과 지상기준점 패치 간의 영상 매칭 범위를 축소하는 데 사용된다. 추정 정밀도를 활용하면 초기 위치와 자세를 기반으로 설정된 범위보다 더 좁은 매칭 영역을 설정할 수 있어, 오차 발생 가능성을 줄이고 자동 측정의 정확도를 높일 수 있다. 이러한 반복 과정을 통해 점차 높은 정확도의 측점 결과를 생성할 확률을 높이며, 목표로 하는 정밀도에 도달할 때까지 반복적으로 수행한다.

3.1. 실험 방법

본 연구에서는 지상기준점 패치 기반 드론 영상 자동 지오레퍼런싱 방법을 검증한다. 검증 방법은 크게 두 가지로 나뉜다. 첫째, 다중 변수 이진 분류기의 성능을 평가한다. 이를 위해 각 지표들의 분포를 확인하여, 해당 지표들이 분류기 학습에 유의미한지 분석한다. 분포를 확인하기 위해 자동 측점 결과를 선별하지 않고 모든 측점 결과를 사용하여 지표들의 분포를 살펴보고, 이를 통해 자동 측점 결과와 지표 간의 관계를 파악한다. 이후 지상기준점 패치로부터 자동 측점한 결과를 분류하기 위해 랜덤 포레스트를 학습하고, 학습 데이터와 평가 데이터를 나누어 분류기의 성능을 검증한다. 둘째, 학습한 모델과 임계값을 적용하여 지상기준점 패치 기반 자동 지오레퍼런싱 결과를 확인한다. 자동 지오레퍼런싱 방법은 반복 과정을 기반으로 하며, 하나의 사이클이 완료된 후 자동 측점 결과, 선별 결과, 번들 조정 단계에서의 정확도를 평가하여 결과를 분석한다.

3.2. 다중 변수 이진 분류기 성능 평가

다중 변수 이진 분류기는 1번 데이터셋(지상기준점 패치 제작용 데이터셋)과 2번 데이터셋(이진 분류기 학습 데이터셋)을 모두 활용하여 학습하였다. 1번 데이터셋은 지상기준점 패치를 생성하는 데 사용되었으며, 이진 분류기 학습 데이터는 다음의 과정을 통해 구성되었다. 먼저, 초기 지상기준점 패치를 이용하여 각 지표의 분포를 확인하였다. 이는 학습 데이터에 포함된 각 지표가 이진 분류기의 성능에 미치는 영향을 평가하기 위함이다. 지표의 분포가 고르게 퍼져 있다면 분류에 유의미한 기여를 하지 못할 가능성이 있으므로, 분포를 확인하여 각 지표가 학습에 미치는 영향을 파악하였다. 이후, 두 데이터셋에서 지상기준점 패치를 기반으로 자동 측점 결과와 지표 간의 관계를 분석하고 이를 바탕으로 이진 분류 모델을 학습하였다. 학습된 모델의 성능과 임계값 기준은 ROC 곡선을 통해 확인하였다.

자동 측점 결과와 수동 측점 결과 간의 차이, 즉 정확도를 기준으로 지표 분포의 양상을 분석하였다. Fig. 6(a)는 2픽셀 이내의 정확도를 갖는 결과만을 추출하여 지표 분포를 나타낸 것이며, Fig. 6(b)는 10픽셀 이상의 정확도를 갖는 결과만을 추출하여 지표 분포를 나타낸 것이다. 첫 번째 행에서는 중심근접도, 특징점 개수, 특징점 분포를 확인할 수 있으며, 두 번째 행에서는 특징점 강도, 평균 기술자 거리, 평균 강도를 나타낸다. 세 번째 행에서는 내재 비율, 호모그래피 조건수, 변환 잔차를, 마지막 행에서는 절대 좌표 호모그래피, 영상 유사도(Normalized Correlation Coefficient, NCC), 영상 유사도(Structural Similarity, SSIM)을 나타낸다. 1번 데이터셋에서는 2픽셀 이하와 10픽셀 이상의 결과를 비교할 때 10픽셀 이상의 결과가 적어 분포를 비교하기 어려웠다. 그러나 2픽셀 이하의 결과에서는 중심근접도, 내재 비율, 변환 잔차, 절대 좌표 호모그래피, 영상 유사도 지표에서 분포가 집중된 양상을 확인할 수 있었다. 위와 동일하게, 정확도를 기준으로 지표 분포의 양상을 분석하였다. Fig. 7에서 해당 결과를 확인할 수 있으며, 1번 데이터셋에서와 달리 2픽셀 이하의 결과에서 분포가 상대적으로 더 분산된 경향을 보였다. 1번 데이터셋의 경우, 지상기준점 패치를 생성한 데이터셋에 그대로 적용했기 때문에, 자동 측정이 성공했을 때 지표가 극단적으로 밀집되었을 것이라고 판단된다. 2번 데이터셋의 경우, ‘변환 잔차’와 ‘절대좌표 호모그래피’에서 0에 근접한 수치일 때 측점의 정확도가 높게 나타났으며, 10픽셀 이상 차이나는 경우는 0이 아닌 값으로 분산되는 경향을 보였다. 또한, ‘영상 유사도’ 측면에서 보았을 때, 1번 데이터셋에서는 0.8 이상의 유사도를 보였으며 2번 데이터셋의 경우에는 0.5 이상의 유사도를 보인 경우에 측점 정확도가 높게 나타났다. 이는 변환이 잘 수행되었음을 대체할 수 있는 수치이기는 하나, 지상기준점 주변이 달라졌을 떄는 차이를 보일 수도 있을 것이라고 판단된다.

Figure 6. Feature distribution based on measurement accuracy for dataset 1: (a) within 2 pixels and (b) over 10 pixels.

Figure 7. Feature distribution based on measurement accuracy for dataset 2: (a) within 2 pixels and (b) over 10 pixels.

두 데이터셋을 통해 자동 측점 결과와 변수들 간의 연관성을 분석한 결과, 이를 기반으로 분류가 가능할 것으로 판단하였다. 이를 바탕으로 1번과 2번 데이터셋을 활용하여 다중 변수 이진 분류기를 학습하였다. 다중 변수 이진 분류기를 학습하기 전, 학습 데이터에서 이진분류의 임계값을 설정하였다. 본 연구에서는 자동 측점 결과와 수동 측점 결과를 비교하여, 위치 차이가 2픽셀 이하인 경우를 1로, 10픽셀 이상인 경우를 0으로 분류하였다. 반면, 2~10픽셀의 차이를 보이는 값들은 이진 분류에서 혼동을 유발할 가능성이 높다고 판단하여 학습 데이터에서 제외하였다. 학습 결과, 각 지표별 중요도를 확인할 수 있었으며, Fig. 9에 제시된 바와 같이 ‘영상 유사도’, ‘절대 좌표 호모그래피’, ‘변환 잔차’ 지표에서 높은 가중치를 보였다. 이는 데이터 분포를 확인한 결과와 유사한 경향을 나타낸다. 주어진 학습 데이터를 기반으로 분류기를 학습한 후, 성능 검증을 위해 학습 데이터를 7:3의 비율로 분리하여 ROC 곡선을 이용해 평가를 진행하였다. Fig 10의 AUC 값을 확인한 결과, 분류기의 성능이 0.9로 나타나 높은 분류 성능을 확인할 수 있었다.

Figure 9. Binary classification performance.

Figure 10. Measurement accuracy based on the matching region.

3.3. 지상기준점 패치 기반 자동 지오레퍼런싱 성능 평가

지상기준점 패치 기반 자동 지오레퍼런싱 성능을 평가하기 위해 선별과 반복 과정이 포함되지 않은 방식(A), 선별 과정만 포함된 방식(B) 그리고 본 연구에서 제안한 방식(C)을 비교하였다. 총 세 가지 방식을 비교함으로써 본 연구에서 제안한 과정의 기여도를 확인하였다(Table 2).

Table 2 . Accuracy comparison by method.

	A	B	C
Accuracy (m)	32.2	4.7	0.06
Measurement	119	13	57
GCP	13	3	11

지오레퍼런싱 정확도 측면에서 선별과 반복 과정이 포함되지 않고 지상기준점 패치 기반 자동 측점 결과만 반영한 A 방식의 경우, 32.2 m라는 낮은 정확도를 보였다. 이는 다른 방식에 비해 측점된 수는 많았지만, 오차가 큰 측점 결과가 포함되어 결과 품질이 저하된 것으로 분석된다. A 방식에서는 총 119개의 측점 중 10픽셀 이상의 오차를 가진 결과가 63개였다. 선별 과정이 포함된 B 방식의 경우, 측점 수는 A 방식의 119개에서 13개로 크게 줄었다. 이는 선별 과정을 통해 오차가 큰 측점 결과가 제거되었기 때문이며, 이로 인해 B 방식의 지오레퍼런싱 정확도는 A 방식에 비해 크게 향상되었다.

한편, B 방식은 C 방식의 첫 번째 반복 과정을 나타내며, 반복 과정을 통해 결과가 어떻게 개선되는지를 확인할 수 있다. C 방식의 첫 번째 반복 과정에서는 지오레퍼런싱 정확도가 4.7 m로 나타났으나, 이는 주로 Z 축에서의 오차가 크게 반영된 결과이다. 반복 과정을 통해, 드론의 내부표정요소와 외부표정요소 중 X, Y 축의 오차가 보정되어 최종적으로 보다 정확한 결과를 도출할 수 있었다.

지상기준점 패치 기반 자동 지오레퍼런싱의 성능 평가는 3번 데이터셋을 이용하여 수행하였다. 3번 데이터셋은 지상기준점 패치를 제 작했던 데이터와 시간적으로 1년 6개월의 차이가 있다. 자동 지오레퍼런싱 과정은 총 3회 반복 수행되었으며, 결과는 Table 3에 정리되어 있다. 첫 번째 과정에서는 센서 정밀도를 이용하여 영상 매칭 범위를 설정하였으며, 두 번째와 세 번째 과정에서는 추정 정밀도를 기반으로 영상 매칭 범위를 결정하였다. 이 과정에서 영상 매칭 범위가 점차적으로 축소되고, 드론의 외부표정요소와 내부표정요소가 보정되면서 정확도와 측점 정확도가 향상되는 것을 확인할 수 있었다. 세 번째 반복에서는 검사점을 기준으로 한 정확도가 6 cm로 나타났으며, 성공적인 측점 개수는 크게 증가하였다. 드론 영상의 위치/자세가 정확하게 결정되며 각 드론 영상에 포함되는 지상기준점을 계산하는 과정에서도 계산된 매칭쌍의 개수가 변화하고 있음을 확인할 수 있다. 영상 매칭 범위의 측면에서는 범위가 점진적으로 줄어드는 양상을 보였다. 이는 반복 과정을 통해 자동 지오레퍼런싱 결과의 정밀도와 정확도가 지속적으로 개선되고 있음을 보여준다.

Table 3 . Accuracy assessment of automated georeferencing.

Iteration	1st	2nd	3rd
Accuracy (m)	4.7	0.76	0.06
Matching pairs	2748	2766	2768
Measurement	13	327	442
Measurement (<2px)	6	36	57
GCP	3	7	11
Avg. Matching region size	540	420	403

본 연구에서는 반복 과정을 통해 영상 매칭 범위가 점차 지상기준점 패치의 범위와 유사해지며, 이에 따라 영상 매칭의 성공률이 점차 높아진다. 이는 정확도 높은 측점 결과가 번들조정에 반영됨으로써 단계적으로 측점 결과가 개선되는 것을 의미한다. Fig. 10은 이러한 과정을 보여주는 예시를 나타낸다. Fig. 10에서는 첫번째 반복에서는 초기 영상 매칭 범위가 넓고, 지상기준점 패치의 중심과 축소된 범위의 중심 간에 차이가 존재하는 것을 확인할 수 있다. 그러나 두번째와 세번째 반복에서의 결과와 같이 두 번의 반복 과정을 거치며 매칭 범위가 점차 줄어들고, 지상기준점 패치의 중심과 축소된 범위의 중심이 더욱 가까워지는 것을 확인할 수 있다. 이와 같이 반복 과정을 통해 드론의 외부표정요소와 내부표정요소가 갱신되고, 추정 정밀도가 향상됨에 따라 측점 결과의 정확도가 점진적으로 개선되는 것을 확인할 수 있다.

본 연구에서는 지상기준점 패치를 활용한 드론 영상 자동 지오레퍼런싱 방법을 제안하고 이를 검증하였다. 지상기준점 패치 기반 자동 지오레퍼런싱은 지상기준점 자동 측점과 번들 조정을 결합하여 지오레퍼런싱 정확도를 점진적으로 개선하는 방식으로 설계되었다. 자동 측점과 번들 조정 단계 사이에서 자동 측점 결과의 신뢰성을 판별하기 위해 다중 변수 이진 분류기를 제안하였으며, 랜덤 포레스트 기반 분류기를 활용하여 신뢰도 높은 측점 결과만을 반영함으로써 지오레퍼런싱의 정확도를 단계적으로 향상시킬 수 있음을 확인하였다.

랜덤 포레스트 기반 분류기의 학습 결과, AUC 0.9의 성능을 달성하였으며, 시간적 간격이 있는 데이터셋에 적용한 결과 반복적인 과정을 통해 자동 측점의 정확도와 위치 정확도가 지속적으로 향상되었다. 최종적으로 검사점을 기준으로 6 cm의 위치 정확도를 달성하였다. 또한, 각 반복 과정에서 매칭 범위와 외부표정요소 및 내부표정요소가 점진적으로 선별되면서 성공적인 자동 측점 결과의 수가 크게 증가하였다. 향후 보다 다양한 데이터를 확보하여 제안된 방법의 일반화를 검증하고 이를 보완하는 연구를 수행할 예정이다. 또한, 지상기준점 패치의 갱신 및 추가가 자동 지오레퍼런싱 성능에 미치는 영향을 분석하는 추가 연구가 필요함을 확인하였다.

Figure 8. Feature importance for binary classification from Random Forest.

이 논문은 2024년도 국토교통부 재원으로 국토교통과학기술진흥원의 지원을 받아 수행된 연구임(RS-2022-00142501, 디지털 국토정보기술개발).

No potential conflict of interest relevant to this article was reported.