Research Article

Split Viewer

Korean J. Remote Sens. 2024; 40(6): 1039-1049

Published online: December 31, 2024

https://doi.org/10.7780/kjrs.2024.40.6.1.14

© Korean Society of Remote Sensing

딥러닝 기반 의미론적 분할을 활용한 크라우드소싱 라이다 데이터 이상점 탐지

이동호1, 최경아2*

1한국항공우주연구원 위성활용부 박사후연구원
2국토연구원 공간정보정책연구센터 부연구위원

Received: November 22, 2024; Revised: December 5, 2024; Accepted: December 5, 2024

Outlier Detection in Crowdsourced LiDAR Data Using Deep Learning-Based Semantic Segmentation

Dongho Lee1 , Kyoungah Choi2*

1Postdoctoral Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
2Associate Research Fellow, National Infrastructure & Geospatial Information Research Division, Korea Research Institute for Human Settlements, Sejong, Republic of Korea

Correspondence to : Kyoungah Choi
E-mail: shale@krihs.re.kr

Received: November 22, 2024; Revised: December 5, 2024; Accepted: December 5, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Crowdsourced drone LiDAR data, collected from diverse sensors and environments, often suffer from inconsistent data quality. Outliers in such datasets can distort the characteristics of terrain and structures, leading to inaccurate decision-making. This study aims to validate the quality of crowdsourced LiDAR data by developing a precise outlier detection method based on semantic segmentation. Using the open-source Semantic Terrain Points Labeling Synthetic 3D (STPLS3D) dataset, noise-augmented training data were generated through simulations. Subsequently, a Kernel Point Convolution (KPConv) model was trained. The trained model was applied to real-world crowdsourced LiDAR data and compared with existing methods, including Statistical Outlier Removal (SOR) and Density-Based Spatial Clustering of Applications with Noise (DBSCAN). Experimental results demonstrated that the KPConv model outperformed SOR and DBSCAN in terms of accuracy and reliability, effectively identifying inherent noise in the original data. These findings highlight the utility of deep learning-based outlier detection methods for ensuring the quality of crowdsourced LiDAR data.

Keywords Crowdsourced LiDAR data, Quality validation, Outlier detection, Semantic segmentation, Deep learning

라이다(LiDAR) 기술은 정밀한 3차원 포인트 클라우드(point cloud)를 제공함으로써 다양한 분야에서 핵심적 역할을 수행하고 있다. 재난 관리 분야에서는 신속하고 정확한 피해 평가와 대응을 지원하며(Jung et al., 2023), 환경 모니터링 영역에서는 식생 밀도와 높이 측정을 통해 생태계 변화 탐지에 기여한다(Ko et al., 2021). 또한, 도시 계획 및 인프라 개발 분야에서는 정밀한 모델링을 통해 비용 효율적이고 환경 친화적인 개발을 가능케 한다(Wang et al., 2018). 라이다 데이터 수집 플랫폼 중 드론은 유연한 운용이 가능하나, 항공기나 위성 등 타 플랫폼에 비해 커버할 수 있는 면적이 제한적이다. 특히, 광역지역의 정보 취득에는 막대한 비용과 노동력이 소요되어 대규모 지역 조사에 어려움을 겪는다.

이러한 한계를 극복하고자 최근 크라우드소싱(crowdsourcing) 방식이 공간정보 취득 방법으로 주목받고 있다. 크라우드소싱은 다수의 참여자로부터 데이터를 수집함으로써 단일 주체가 부담해야 할 비용과 시간을 분산시킬 수 있다. 또한, 다양한 지역에서 동시에 데이터를 수집할 수 있어 광범위한 지역의 정보를 빠르게 확보할 수 있다는 장점이 있다. 이로 인해 최근 크라우드소싱 방법론을 활용한 효율적인 대규모 지역의 공간정보 취득 시도가 증가하고 있다. Kim et al. (2021)은 크라우드소싱으로 수집된 차량 라이다 데이터를 활용하여 고정밀 3D 지도를 갱신하는 방법을 제안하였으며, Cho and Chung (2024)은 도심 지역의 도로에서 수집된 크라우드 소싱 라이다 데이터를 이용하여 차량의 실시간 위치를 파악하는 연구를 수행하였다. 또한 UrbanARK 프로젝트에서는 라이다 데이터와 크라우드소싱 거리뷰 이미지를 결합하여 도시 지하 공간 정보를 수집하는 방법을 개발하였다(UrbanARK, 2022). 이처럼 크라우드소싱 방법에 대한 활용사례는 증가하고 있지만, 데이터 품질 검증에 대한 연구는 여전히 부족한 실정이다(Lee and Choi, 2023). 크라우드소싱 데이터는 다양한 센서와 환경에서 수집되어 데이터의 일관성과 정확성을 보장하기 어렵다(Choi, 2022). 특히, 라이다 데이터의 이상점(outliers)은 데이터의 신뢰성을 저하시켜 지형 및 구조물 특성을 왜곡할 수 있으며, 이는 건축, 인프라 분석, 지형 변화 감지 등에서 심각한 오류와 부정확한 의사결정을 초래할 수 있다(Sotoodeh, 2006).

기존 라이다 데이터의 이상치 제거 방법은 주로 통계적 이상치 제거(statistical outlier removal, SOR) 방법이나 클러스터링(clustering) 등의 기법에 의존하고 있다. SOR 방법은 간단하고 빠르게 이상치를 탐지할 수 있으나, 데이터가 정규 분포를 따른다는 가정하에 이루어져 복잡한 지형이나 구조물의 밀집도가 다양한 상황에서는 데이터의 복잡한 분포를 반영하지 못하는 한계가 있다(Le et al., 2023). 또한, 클러스터링 기법은 데이터의 밀도와 지역적 특성을 고려하여 이상치를 탐지할 수 있으나 복잡한 3차원 구조에서는 성능이 저하될 수 있다(Yastikli and Cetin, 2016). 이처럼 SOR 방법이나 클러스터링 기법은 크라우드소싱 라이다 데이터의 특수성을 반영하기에 한계가 있다. 다양한 센서와 환경에서 수집된 크라우드소싱 데이터는 품질과 분포가 지역별로 크게 상이하여, 정규 분포나 단일 밀도 기준을 가정한 기존 방법으로는 정확한 이상치 탐지가 어렵다.

이러한 한계를 극복하기 위해 정밀한 의미론적 분할(semantic segmentation) 기법을 활용한 접근법이 필요하다. 3D 포인트 클라우드에서의 의미론적 분할은 데이터를 구성하는 각 포인트에 대해 건물, 도로, 나무 등과 같은 특정 클래스를 할당하여 데이터의 구조적 패턴과 객체 의미 정보를 해석하는 과정이다. 이를 통해 데이터 내에서 개별 객체의 의미를 명확히 구분할 수 있으며, 비정형적이고 비선형적인 데이터 패턴을 학습하는 데 강점을 가진다. 특히 딥러닝 기반의 3D 의미론적 분할기법은 각 포인트의 좌표, 반사 강도 등 공간적 특성을 학습하여 정밀한 라벨 예측과 군집화를 가능하게 한다. 이를 통해 포인트 클라우드의 복잡한 3차원 구조 내에서 객체 간의 연관성을 파악하고, 데이터의 문맥적 정보를 활용하여 이상치를 효과적으로 탐지할 수 있다.

이에 본 연구에서는 딥러닝 기반 의미론적 분할을 활용한 크라우드소싱 드론 라이다 데이터의 이상치 탐지 방법을 개발하고자 한다. 이를 위해, 먼저 이상치 탐지에 적합한 딥러닝 학습 데이터를 구축하였으며, 이를 활용하여 딥러닝 모델을 학습하였다. 이후, 학습된 모델을 실제 크라우드소싱 라이다 데이터에 적용하여, 기존의 SOR 방법 및 클러스터링 기법과 성능을 비교 분석하였다. 또한, 크라우드소싱 라이다 데이터에 인위적으로 이상치를 생성한 시뮬레이션 데이터를 구축하여, 딥러닝 모델의 이상치 탐지 성능을 추가적으로 검증하였다. 이를 통해 제안된 방법의 성능과 유효성을 종합적으로 평가하고자 하였다.

2.1. 학습데이터 구축

2.1.1. 데이터 소스

본 연구에서는 이상점을 효과적으로 탐지하기 위한 딥러닝 모델을 개발하고자 하였다. 이를 위해서는 고품질의 학습 데이터셋이 필수적이다. 그러나 대용량 라이다 데이터에서 각 포인트의 객체 정보를 육안으로 확인하여 학습 데이터를 구축하는 것은 많은 시간과 자원이 소모되는 작업이다. 이러한 문제를 해결하기 위해, 본 연구에서는 오픈소스 라이다 데이터셋인 semantic terrain points labeling synthetic 3D (STPLS3D)를 활용하였다.

STPLS3D는 실내외 환경에서 수집된 다양한 3차원 포인트 클라우드를 포함하며, 정밀한 시멘틱 라벨링(sementic labeling)과 인스턴스 라벨링(instance labeling)을 제공한다. 이 데이터셋은 16 km2 이상의 지역과 19개의 세분화된 시멘틱 Class를 포함하고 있으며(Table 1), 합성 데이터와 실제 환경 데이터를 모두 제공하여 다양한 시나리오에서 모델의 학습과 검증을 가능하게 한다(Chen et al., 2022). 특히, STPLS3D는 실제 unmanned aerial vehicle (UAV) 비행 패턴을 기반으로 데이터가 생성되어 라이다 센서로 수집된 실제 데이터와 유사한 노이즈 패턴과 품질을 보장한다. 또한, 합성과 실제 데이터를 결합하여 일반적인 드론 라이다 데이터보다 다양한 환경과 조건에서의 학습 가능성을 제공하며, 정밀한 라벨링을 통해 객체의 세부 정보와 분류 정확도를 높인다.

Table 1 Label information of the STPLS3D dataset (Chen et al., 2022)

LabelClassLabelClass
0Ground10Motocycle
1Building11LightPole
2LowVegetation12StreetSign
3MdiumVegetation13Clutter
4HighVegetation14Fence
5Vehicle15Road
6Truck16-
7Aircraft17Window
8MilitaryVehicle18Dirt
9Bike19Grass


STPLS3D는 67개 파일로 구성되어 있으며, 각 파일은 약 3천만~5천만 개의 포인트를 포함한다. 각 포인트는 X, Y, Z 좌표, RGB 색상 정보, 클래스 라벨 등 7개의 속성을 가지며, 포인트 간 간격은 0.1미터로 설정되어 있다. 이러한 높은 해상도와 세밀한 라벨링은 복잡한 구조물과 단순한 구조물을 모두 포함하여 다양한 환경에서의 이상치 탐지 성능을 평가하는 데 적합하다. 데이터는 .ply 형식으로 제공되며, 포인트 클라우드 기반의 딥러닝 모델 학습에 최적화되어 있다.

2.1.2. 이상점 시뮬레이션

본 연구는 이상점 탐지를 위한 딥러닝 모델 학습을 목표로 한다. 그러나 STPLS3D 데이터셋에는 Table 1과 같이 이상점이 포함되어 있지 않기 때문에, 학습 데이터로 활용하기 위해 STPLS3D 데이터셋에 인위적으로 이상점을 추가하는 과정을 수행하였다. 추가된 이상점은 STPLS3D의 데이터 특성을 유지하면서도, 모델 학습 및 검증에 필요한 다양한 이상치 패턴을 포함하도록 설계하였다. 이상점 생성 과정에서 모든 포인트는 X, Y, Z 좌표, RGB 색상 정보, CLASS(클래스 라벨)를 포함한 7개의 속성을 유지하도록 하였다. 이상점에는 기존 클래스에 포함되지 않은 새로운 라벨 번호를 할당하고, 해당 라벨은 이상점을 나타내는 별도의 클래스명으로 지정하였다.

이상점 좌표는 원본 포인트 클라우드 데이터의 X, Y 좌표 범위 내에서 무작위로 생성되었으며, Z 좌표는 해당 포인트 클라우드 전체 평균 Z 값에서 표준편차(±2σ) 범위 내에 위치하도록 랜덤하게 설정하였다. 이를 통해, 이상점이 원본 데이터와 유사한 범위 내에 자연스럽게 분포하도록 하였으며, 극단적인 Z 값으로 인한 비현실적인 이상점 생성을 방지하였다.

이상점의 RGB 색상 정보는 원본 데이터에서 임의로 선택하였고, 전체 데이터의 약 0.005%에서 0.01%에 해당하는 2,000개에서 40,000개 규모로 이상점을 추가하였다. 해당 비율은 지나치게 높게 설정할 경우 정상 데이터의 특성이 희석될 가능성을 고려하여 실제 라이다 데이터에서 이상점이 포함되는 빈도를 반영하기에 적절하도록 설정하였다. 이를 통해 학습 데이터가 실제 환경을 보다 효과적으로 모사할 수 있도록 구성하였다. 기존 STPLS3D 데이터셋의 클래스가 0번부터 19번까지로 설정되어 있으므로, 이상점에는 클래스 20번을 부여하여 기존 데이터와 구별되도록 하였다.

이와 같은 과정을 통해 STPLS3D 데이터셋에 이상점을 추가하여, 딥러닝 모델이 정상 포인트와 이상점을 효과적으로 구분할 수 있는 학습 데이터를 구축하였다. Fig. 1은 STPLS3D 데이터셋에 추가된 이상점을 시각적으로 보여준다.

Fig. 1. Comparison of STPLS3D dataset (a) before and (b) after adding outliers.

2.2. 딥러닝 모델 학습

2.2.1. 모델 선정

상기 구축된 데이터셋 학습을 위한 딥러닝 모델은 kernel point convolution (KPConv) 모델이 사용되었다. KPConv는 시멘틱 세그멘테이션 기법을 기반으로 3차원 포인트 클라우드 데이터를 입력받아 각 포인트의 클래스를 예측하며, 좌표와 반사 강도 등 공간적 특성을 학습하여 정밀한 객체 분류와 군집화를 수행한다. KPConv는 비정형적이고 불규칙한 데이터 구조를 처리하는 데 최적화된 모델이다. Fig. 2와 같이, 각 포인트의 특성 벡터 fi는 여러 개의 커널 가중치 행렬 Wk와 곱해지며, 이 과정에서 포인트와 커널 간의 상대적 위치를 고려한 상관 계수 hik가 적용된다(Thomas et al., 2019).

Fig. 2. Differences between 2D image convolution and KPConv (Thomas et al., 2019).

이러한 메커니즘은 포인트 간의 상대적 거리와 위치를 동적으로 반영하여, 고정된 정렬이 없는 데이터에서도 컨볼루션을 수행할 수 있도록 한다. 이를 통해 포인트 간의 공간적 관계를 더욱 정밀하게 학습할 수 있다. 또한, KPConv는 지역적 패턴과 밀도 변화를 효과적으로 반영하여 밀도가 높은 영역과 희소한 영역 혼재하더라도 우수한 성능을 발휘한다. 라이다 데이터의 복잡한 3D 구조를 분석하는 데도 강점을 가지며, 건물과 지형의 세밀한 특성을 포착하고 비구형 클러스터나 비정규 구조를 탐지할 수 있다. 이러한 특성으로 인해KPConv는 크라우드소싱 라이다 데이터의 다양한 공간적 특성과 구조적 복잡성을 반영하여 이상점 탐지의 정밀성과 신뢰성을 높이는 데 매우 적합한 모델로 선정하였다.

2.2.2 학습 파라미터 설정

KPConv 모델의 학습을 위해 여러 하이퍼파라미터를 설정하였다. 컨볼루션 커널 크기는 STPLS3D 데이터셋의 포인트 간 간격(0.1 m)을 고려하여 0.2 m로 설정하였으며, 이를 통해 각 포인트의 지역적 특성을 효과적으로 학습할 수 있도록 하였다. 학습률은 0.00125로 설정하여 학습이 안정적으로 진행되도록 하였고, 배치 사이즈는 8개의 포인트 클라우드 샘플파일을 한번에 처리할 수 있도록 구성하였다. 모델의 충분한 학습을 보장하기 위해 에포크 수는 500으로 설정하였다. 최적화 알고리즘으로는 Adam Optimizer를 사용하였으며, 이는 모멘텀과 적응형 학습률을 활용하여 빠르고 안정적인 수렴을 제공한다. 모델 학습에 사용된 컴퓨팅 환경은 Table 2에 요약되어 있다.

Table 2 Computing environment for KPConv model training

CategoryItemSpecification
HardwareGPUNVIDIA Tesla A100 (40GB)
CPUIntel Xeon (R) Gold 6242R CPU @3.10 GHz (12core)
RAM64 GB
Storage1.7TB SSD
SoftwareOperating SystemUbuntu 20.04.6 LTS
Deep Learning FrameworkPyTorch 1.8.0+cu111
CUDA versionCUDA 11.2
cuDNN versioncuDNN 8.0.5
Python version3.8.19


2.2.3 학습 모델 성능 평가

KPConv 모델의 검증을 위해 STPLS3D 데이터셋의 총 67개 파일 중 65개를 학습 데이터로 사용하고, 나머지 두 파일인 WMSC_points와 SanFrancisco를 검증 데이터로 활용하였다. WMSC_points는 총 9,977,764개의 포인트로 구성되어 있으며, 산악 지형과 소규모 건물이 혼재된 포인트 클라우드 데이터를 포함하고 있다(Fig. 3a). SanFrancisco 데이터는 총 40,112,464개의 포인트로 구성되며, 복잡한 도심 지역을 배경으로 한다(Fig. 3b).

Fig. 3. Visualization of WMSC_points and SanFrancisco point cloud data.

두 데이터를 기반으로 이상점 시뮬레이션을 수행하여, WMSC_points에는 7,413개의 이상점을, SanFrancisco 데이터에는 40,146개의 이상점을 각각 생성하였다. 생성된 시뮬레이션 데이터에 KPConv 모델을 적용하여 검증을 진행하였다. 한편, STPLS3D 데이터셋은 20개의 세분화된 시멘틱 세그멘트 클래스를 포함하고 있다. 그러나, 본 연구의 목적은 이상점 탐지에 중점을 두고 효율적인 모델 학습 및 검증을 위하여 유사한 범주를 군집화하여 총 7개의 클래스로 축소하였다(Table 3).

Table 3 Mapping information between original labels (1–20) and grouped labels (0–6)

Original LabelGrouped Label (Class)
0, 15, 16, 18, 190 (Ground)
1, 7, 9, 10, 13, 171 (Building)
2, 3, 42 (Vegetation)
5, 6, 83 (Car)
11, 124 (Light)
145 (Fence)
206 (Outlier)


모델의 시멘틱 세그멘테이션 분류 성능은 오류 행렬(errormatrix) 및 카파 계수(kappa coefficient)를 기반으로 평가하였다. 오류 행렬은 각 클래스의 예측 결과를 실제 값과 비교하여 모델의 분류 정확도를 정량적으로 나타내며, 카파 계수는 예측값이 무작위로 이루어질 확률을 배제하고 모델의 예측 일치도를 평가하기 위한 지표로 활용된다. 검증 결과WMSC_points 데이터셋에서는 Ground 클래스에서ProducerAccuracy가 92.8%, UserAccuracy가 98.2%로 가장 높은 정확도를 기록했으며, Building 클래스는 각각 95.7%와 89.6%로 나타났다. Vegetation 클래스에서는 Producer Accuracy가 93.7%, User Accuracy가 82.7%로 산악 지형의 복잡한 식생 패턴을 잘 반영하였다(Table 4).

Table 4 Semantic segmentation model classification results for WMSC_points

GroundBuildingVegetationCarLightFenceOutlierUser Accuracy
Ground6,513,06315,136103,8152,156819891540.982
Building102,3691,013,3247,1253,9786353,4351730.896
Vegetation345,05915,0721,724,772357381,2941780.827
Car8,0264,193029,8140000.709
Light22102,50003,4870240.56
Fence52,18310,7941,7930511,51740.151
Outlier149861133017,0610.953
Producer Accuracy0.9280.9570.9370.8210.8210.6680.93
Overall Accuracy0.932
Kappa0.858


그러나 Fence 클래스는 ProducerAccuracy가 66.8%, UserAccuracy가 15.1%로 상대적으로 낮은 성능을 보여, Fence 포인트의 적은 수와 주변 클래스와의 공간적 유사성이 분류 성능에 영향을 준 것으로 보인다. Outlier 클래스에서는 ProducerAccuracy가 93.0%, UserAccuracy가 95.3%로 나타나, WMSC_points 데이터셋의 다양한 산악 지형과 복잡한 구조에서도 모델이 이상점을 높은 정확도로 탐지했음을 확인할 수 있었다. 이는 모델이 Outlier 클래스에서의 공간적 특징과 문맥적 정보를 효과적으로 학습했음을 보여준다.

SanFrancisco데이터셋에서는Ground클래스에서ProducerAccuracy가 98.6%, User Accuracy가 98.9%로 매우 높은 정확도를 기록하였다. Building 클 래 스 는 Producer Accuracy가 99.2%, User Accuracy가 99.1%로 도시 환경 내 구조물의 특성을 잘 학습한 결과를 보여주었다. Vegetation 클래스에서는 Producer Accuracy가 99.4%, User Accuracy가 99.5%로 나타나 도심 지역에서도 복잡한 식생 패턴을 효과적으로 처리하였다. 반면 Light 클래스는 Producer Accuracy가 91.7%, User Accuracy가 87.7%로 상대적으로 낮은 성능을 보였으며, 이는 도심 지역 내 Light 클래스의 특성이 주변 클래스와 혼동되기 쉬운 특성을 반영한다. Outlier 클래스에서는 Producer Accuracy가 99.2%, User Accuracy가 80.7%로 나타나, 이상점 탐지 성능이 도심 지역에서도 매우 우수했음을 입증하였다(Table 5).

Table 5 Semantic segmentation model classification results for SanFrancisco

GroundBuildingVegetationCarLightOutlierUser Accuracy
Ground14,123,272141,4136,20312,82167630.989
Building170,47920,449,83525,0501841961320.991
Vegetation7,10719,9025,111,74720292440.995
Car15,0964,331484217,891000.916
Light2265509006,21690.877
Outlier9555,5001,25418832,4110.807
Producer Accuracy0.9860.9920.9940.9440.9170.992
Overall Accuracy0.99
Kappa0.983


특히, WMSC_points와 비교할 때, Outlier 클래스의 User Accuracy가 상대적으로 낮아진 원인은 도심 환경의 복잡한 공간적 특성에서 비롯된 것으로 해석된다. 학습된 클래스가 아닌 구조물이나 동적인 객체가 존재할 확률이 증가하며, 도심 환경은 건물, 도로, 식생, 그리고 기타 인프라가 밀집되어 있어 포인트 간 경계가 모호해지는 현상으로 인하여 정상 포인트와 이상점 간 구분의 난이도가 증가하게 된다. 이러한 요인은 모델이 도심 환경의 데이터에 대하여 오분류할 가능성을 증가시켰으며 성능 평가 결과에 있어서WMSC_points와 같은 산악 지형 데이터셋에 비하여 San Francisco와 같은 도심 데이터 셋에 대해 이상점 탐지 성능이 저하된 것을 확인할 수 있었다. 이를 개선하기 위해 도심 데이터셋에 대해서는 더 섬세하고 정밀한 분류를 요구하는 것으로 해석할 수 있다.

3.1. 크라우드소싱 라이다 데이터

본 연구에서 학습된 모델의 성능을 검증하기 위해 서울특별시 강남구 수서동에 위치한 수서역(37°29′15.0″N 127°06′04.0″E)의 포인트 클라우드 데이터를 활용하였다(Fig. 4). 해당 데이터는 2024년 4월 6일에 M300 RTK (DJI, China) 드론에 Zenmuse L1 (DJI, China) 센서를 탑재한 시스템으로 수집되었으며, 크라우드소싱 형태로 제공받았다. 데이터는 LAS 포맷으로 제공되었으며, 각 포인트는 좌표 정보, 반사 강도, 리턴 번호, 총 리턴 수, 스캔 각도, GPS 시간, 색상 정보(RGB) 등 다양한 속성 정보를 포함하고 있다. 수집된 데이터는 총 48,446,645개의 포인트로 이루어져 있으며, 평균 점간격은 약 0.02 m이다. 이는 수서역 일대의 복잡한 지형 및 구조물을 정밀하게 표현할 수 있는 충분한 데이터 양을 제공한다.

Fig. 4. Study area location for the experimental data.

3.2. 기존 탐지 방법과 비교 검증

3.2.1. 기존 이상점 탐지 방법

크라우드소싱 라이다 데이터의 이상점 탐지를 위해 제안한 딥러닝 기반 모델인 KPConv의 성능을 검증하고자, 통계적 기법인 SOR 방법과 클러스터링 알고리즘인 density-based spatial clustering of applications with noise (DBSCAN)을 함께 적용하여 비교 분석을 실시하였다.

SOR 방법은 포인트 클라우드 데이터의 통계적 특성을 활용하여 이상점을 제거하는 기법이다. 각 포인트의 고도나 반사 강도와 같은 속성값이 평균에서 일정 범위를 벗어나는 경우, 해당 포인트를 이상점으로 간주한다. 라이다 데이터의 3차원 좌표를 이용하여 각 점과 인접점 간 거리에 대한 평균 거리 및 표준편차를 계산하고, 이를 바탕으로 임계치를 설정한다. 임계치 계산식은 다음과 같다.

thr=D¯i+α×σi
outlier=Di>thr

여기서, thr은 임계치, D¯ii번째 점에 인접한 n개 점에 대한 평균 거리, α는 표준편차 계수, αi는 각 점과 그 인접한 n개 점들 간의 거리에 대한 표준편차이다. 임계치를 결정하는 주요 파라미터는 nα이다. 본 연구에서는 n=20, α=2로 설정하였다.

DBSCAN은 데이터의 밀도를 기반으로 클러스터를 형성하고 이상점을 탐지하는 알고리즘이다. DBSCAN의 특징은 특정 분포 패턴을 가정하지 않고 데이터의 밀집도를 기준으로 클러스터를 형성하기 때문에, 데이터가 정규 분포를 따르지 않더라도 효과적으로 이상점을 탐지할 수 있다. DBSCAN은 각 포인트를 기준으로 반경(ε) 내에 있는 인접한 점들의 수가 사전에 설정한 임계값 최소 포인트 수(min points, MinPts) 이상이면, 해당 포인트를 핵심 포인트(core point)로 선정한다. 인접 포인트 수가MinPts 이하인 포인트는 경계점(border point) 또는 이상점으로 간주된다. 또한 핵심 포인트는 인접한 포인트들과 연결되어 군집을 형성한다. 경계점은 핵심 포인트와 연결된 클러스터에 포함되며, 어느 클러스터에도 속하지 않고 주변 점들과 밀집도가 낮은 포인트는 이상점으로 분류된다(Ester et al., 1996). 본 연구에서는 DBSCAN의 하이퍼 파라미터로 반경(ε)=0.2 m, MinPts=10을 설정하였다.

KPConv 모델은 Table 3에서 제시된 변환된 라벨링 체계를 기반으로 작동한다. 그러나 크라우드소싱 데이터는 이러한 라벨 정보를 포함하지 않으므로, 본 연구에서는 KPConv 모델의 분류 결과를 0부터 5까지의 클래스로 분류된 포인트는 정상 포인트로, 6번 클래스로 분류된 포인트는 이상점으로 간주하였다. 이 기준을 바탕으로, 모든 이상점 탐지 기법에 대해 전체 포인트 수 대비 이상점 비율을 산출하였다. 이를 통해 각 기법의 이상점 탐지 성능을 정량적으로 평가하고 비교하였다.

3.2.2. 이상점 탐지 비교 분석 결과

Table 6은 SOR, DBSCAN, KPConv 모델을 활용하여, 크라우드소싱 라이다 데이터에 대한 이상점을 탐지한 결과이다. SOR 방법을 적용하여 이상점을 탐지한 결과, 수서역 포인트 클라우드 데이터 총 48,446,645개 포인트 중 1,864,507개가 이상점으로 탐지되었으며, 이상점 비율은 약 3.85%로 나타났다. DBSCAN 기법을 적용한 결과, 전체 포인트 중 923,823개가 이상점으로 탐지되었으며, 이는 전체 포인트의 1.91%에 해당한다. DBSCAN의 탐지 결과는 통계적 방법에 비해 이상점 비율이 크게 감소하였다. KPConv 모델을 활용하여 이상점을 탐지한 결과, 전체 48,446,645개 포인트 중 8,674개가 이상점으로 분류되었으며, 이는 0.017%로 가장 낮은 비율을 기록하였다.

Table 6 Outlier detection results for crowdsourced LiDAR data using SOR, DBSCAN, and KPConv models

MethodNumber of PointsNumber of OutliersOutlier Rate (%)
Statistical Outlier Removal48,446,6451,864,5073.85
DBSCAN923,8231.91
KPConv8,6740.017


SOR, DBSCAN, KPConv 모델 모두 이상점 탐지에서 각기 다른 결과를 보였다. SOR 방법은 가장 많은 이상점을 탐지했으나, 이는 데이터의 지역적 특성을 충분히 반영하지 못한 결과로 볼 수 있다. Fig. 5(b)에서와 같이 SOR 방법은 나무와 같은 식생이나 기둥 등 정상적인 구조물을 이상점으로 분류하는 경우가 많았다. 이는 단순히 통계적 임계값을 기반으로 이상점을 탐지하기 때문에 발생하는 한계로, 데이터의 복잡한 공간적 관계를 고려하지 못하여 신뢰성이 떨어진다.

Fig. 5. Visualization of original point cloud and outlier detection results using SOR, DBSCAN, and KPConv.

DBSCAN은 SOR에 비해 이상점 비율을 크게 줄이며, 보다 정밀한 탐지를 수행하였다. 밀도가 낮은 영역의 포인트를 효과적으로 이상점으로 탐지하고, 밀도가 높은 지역의 포인트를 정상으로 분류하는데 강점을 보였으나, 여전히 데이터의 밀도 변화에만 의존하여 이상점을 판단하는 한계를 가진다(Fig. 5c). 특히, 포인트 클라우드의 가장자리와 같이 낮은 중복도로 인한 밀도가 낮은 부분을 대부분 이상점으로 간주하는 경향이 있어 복잡한 구조를 다루는 데 있어 오탐지 가능성이 존재한다.

반면, KPConv 모델은 가장 적은 수의 이상점을 탐지하며, 높은 정밀도와 신뢰성을 보였다. KPConv는 단순히 밀도가 낮은 부분을 이상점으로 판단하는 것이 아니라, 포인트 간의 공간적 관계와 문맥적 정보를 학습하여 복잡한 구조적 특성을 효과적으로 반영한다. 이를 통해, DBSCAN과 SOR에서 이상점으로 탐지된 포인트 중 정상 포인트를 정확히 분류할 수 있었으며, 데이터의 가장자리와 같은 밀도가 낮은 부분에서도 이상점을 효과적으로 구분할 수 있었다(Fig. 5d). 결론적으로, KPConv 모델은 SOR 및 DBSCAN과 비교하여 이상점 탐지의 신뢰성과 정확성을 크게 향상시키며, 크라우드소싱 포인트 클라우드 데이터의 이상점 탐지에 가장 적합한 방법임을 입증하였다. 이를 통해, 데이터의 복잡한 구조적 특성과 밀도 변화를 효과적으로 처리할 수 있는 딥러닝 기반 접근법의 유용성이 확인되었다.

3.3. 시뮬레이션 데이터를 활용한 검증

3.3.1. 시뮬레이션 데이터 생성 및 분석 방법

본 연구에서는 학습된 KPConv 모델의 이상점 탐지 성능을 검증하기 위해, STPLS3D 기반으로 학습된 모델을 수서역 포인트 클라우드 데이터에 적용하여 테스트를 진행하였다. 실험 방법은 수서역 포인트 클라우드 데이터셋에 대해 섹션 2.1.2에서 설명한 방법을 적용하여 0.05%의 이상점을 시뮬레이션하여 추가하였다(Fig. 6). 이를 통해 STPLS3D 데이터의 포인트 간 간격(0.1 m)과 수서역 데이터의 포인트 간 간격(0.02 m)이라는 차이가 존재함에도 불구하고, 모델이 이러한 환경 차이에서도 이상점을 효과적으로 탐지할 수 있는지 평가하고자 하였다.

Fig. 6. Visualization of original and outlier-added point cloud data for Suseo station.

모델 성능 평가는 혼동행렬(confusionmatrix)을 기반으로 수행되었으며, 각 탐지 결과는 Table 7과 같이 정의된다. 실제 이상점을 정확히 탐지한 경우를 true positive (TP)로, 실제 이상점이 아닌 데이터를 정확히 정상으로 탐지한 경우를 true negative (TN)로 간주하였다. 반면, 실제 이상점이 아닌 데이터를 이상점으로 잘못 탐지한 경우는 false positive (FP), 실제 이상점을 탐지하지 못한 경우는 false negative (FN)로 정의하였다. 이러한 지표를 바탕으로 모델의 정밀도(Precision), 재현율(Recall) 그리고 F1-score를 계산하여 이상점 탐지 성능을 종합적으로 평가하였다. 이상점의 라벨링은 원본 포인트 클라우드 데이터의 포인트를 0으로, 시뮬레이션을 통해 생성된 이상점을 1로 설정하였다. 시멘틱 세그멘테이션 결과에서 클래스 6으로 분류된 포인트는 이상점으로 간주하였으며, 나머지 클래스로 분류된 포인트는 정상으로 간주하여 혼동행렬을 구성하였다.

Table 7 Confusion matrix and evaluation metrics for classification performance

Predict
PositiveNegative
Ground TruthPositiveTrue positive (TP)False negative (FN)
NegativeFalse positive (FP)True negative (TN)
Precision(TP) / (TP + FP)
Recall(TP) / (TP + FN)
F1-Score(2 * Precision * Recall) / (Precision + Recall)


3.3.2. 이상점 탐지 결과

0.05% 수준의 시뮬레이션 데이터에서 모델의 이상점 탐지 성능을 평가한 결과, 총 24,223개의 이상점 중 21,912개가 TP로, 2,311개가 FN으로 분류되었다. 또한, 48,446,644개의 정상 데이터 중 48,437,837개가 TN으로, 8,807개가 FP로 분류되었다. 이 결과는 Precision은 71.3%, Recall은 90.5%, F1-Score는 80%의 성능을 나타내었다(Table 8).

Table 8 Confusion matrix and performance evaluation results for data with 0.05% anomaly Level

Predict
PositiveNegative
Ground TruthPositive21,9122,311
Negative8,80748,437,837
Precision0.713
Recall0.905
F1-Score0.800


원본 데이터에 포함된 8,674개의 이상점(Table 6)이 시뮬레이션되지 않았지만 모델에 의해 이상점으로 탐지되어 FP로 분류된 것을 고려하여 성능평가를 재수행하면 Table 9와 같다. 모델의 정밀도와 재현율이 각각 99.6%, 93.0%로 크게 향상되었고, 이는 모델이 원본 데이터에 내재된 이상점까지 효과적으로 탐지하고 있음을 의미한다. 따라서 딥러닝 기반의 KPConv 모델이 크라우드소싱 라이다 데이터의 이상점 탐지 성능이 매우 우수한 것을 나타낸다.

Table 9 Confusion matrix and performance evaluation results considering the anomaly ratio in the original data

Predict
PositiveNegative
Ground TruthPositive21,912 + 8,674 = 30,5862,311
Negative8,807 - 8,674 = 13348,437,837
Precision0.996
Recall0.930
F1-Score0.962


Fig. 7은 0.05% 수준에서의 이상점 탐지 결과를 시각화한 것으로, 빨간 점이 이상점으로 탐지된 포인트를 나타낸다. 시뮬레이션 데이터를 가시화한 Fig. 6과 비교하였을 때, 모델이 시뮬레이션된 대부분의 이상점을 성공적으로 탐지한 것을 확인할 수 있다.

Fig. 7. Visualization of outlier detection results at 0.05% noise level.

본 연구에서는 크라우드소싱 드론 라이다 데이터의 품질 검증을 위해 이상점 탐지 방법을 개발하고 그 성능을 평가하였다. 이를 위해 오픈소스 데이터셋인 STPLS3D를 활용하여 딥러닝 학습 데이터를 구축하고, KPConv 모델을 학습하였다. 이후 학습된 모델을 실제 크라우드소싱 라이다 데이터에 적용하여 SOR 방법과 DBSCAN 기법과의 성능을 비교 분석하였다. 또한, 인위적으로 이상점을 생성한 시뮬레이션 데이터를 통해 모델의 이상점 탐지 성능을 정량적으로 검증하였다.

실험 결과, KPConv 모델은 SOR 및 DBSCAN 기법에 비해 이상점 탐지의 정확성과 신뢰성이 뛰어남을 확인하였다. SOR 방법은 데이터의 지역적 특성을 충분히 반영하지 못해 많은 정상 포인트를 이상점으로 오인하였고, DBSCAN 기법은 밀도가 낮은 영역에서 오탐지 가능성이 높았다. 반면, KPConv 모델은 포인트 간의 공간적 관계와 문맥적 정보를 학습하여 복잡한 구조적 특성을 효과적으로 반영하였으며, 높은 정확도를 나타내었다.

시뮬레이션 데이터를 활용한 추가 검증에서도 KPConv 모델은 이상점 탐지에 있어서 F1-score 기준 96.2%로 높은 성능을 보였다. 특히, 원본 데이터에 내재된 이상점까지 효과적으로 탐지하여 크라우드소싱 라이다 데이터의 품질 개선에 도움이 될 수 있음을 보였다. 이러한 결과는 딥러닝 시멘틱 세그멘테이션 기반의 이상점 탐지 방법이 크라우드소싱 라이다 데이터의 품질 검증에 있어 유용한 도구로 활용될 수 있음을 시사한다. 크라우드소싱 데이터는 다양한 센서와 환경에서 수집되므로 데이터 품질의 일관성이 중요하며, 제안된 방법은 이러한 데이터의 복잡성과 불균일성을 효과적으로 처리할 수 있을 것으로 판단된다. 향후 연구에서는 다양한 비행 고도와 환경에서 생성되는 드론 라이다 데이터에 대한 적용성을 검토하고 모델의 일반화 능력을 향상시키기 위한 추가적인 데이터 수집과 학습을 진행할 예정이다.

본 연구는 국토교통부/국토교통과학기술진흥원의 디지털 국토정보기술개발사업 지원으로 수행되었음(과제번호 RS-2022-00142501).

  1. Chen, M., Hu, Q., Yu, Z., Thomas, H., Feng, A., and Hou, Y., et al, 2022. STPLS3D: A large-scale synthetic and real aerial photogrammetry 3D point cloud dataset. arXiv preprint arXiv:2203.09065. https://doi.org/10.48550/arXiv.2203.09065
  2. Cho, S., and Chung, W., 2024. Vehicle localization using crowdsourced data collected on urban roads. Sensors, 24(17), 5531. https://doi.org/10.3390/s24175531
  3. Choi, K., 2022. Defining quality factors and criteria on crowd-sourced aerial view images. Journal of Korean Society for Geospatial Information Science, 30(4), 129-138. https://doi.org/10.7319/kogsis.2022.30.4.129
  4. Ester, M., Kriegel, H. P., Sander, J., and Xu, X., 1996. A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the 1996 Second International Conference on Knowledge Discovery and Data Mining (KDD-96), Portland, OR, USA, Aug. 2-4, pp. 226-231.
  5. Jung, Y., Lim, E., Suk, J., Koo, S., and Kim, S., 2023. Utilization of drone LiDAR for field investigation of facility collapse accident. Korean Journal of Remote Sensing, 39(5-2), 849-858. https://doi.org/10.7780/kjrs.2023.39.5.2.9
  6. Kim, K., Cho, S., and Chung, W., 2021. HD map update for autonomous driving with crowdsourced data. IEEE Robotics and Automation Letters, 6(2), 1895-1901. https://doi.org/10.1109/LRA.2021.3060406
  7. Ko, C. U., Yim, J. S., Kim, D. G., and Kang, J. T., 2021. Analysis of optimal pathways for terrestrial LiDAR scanning for the establishment of digital inventory of forest resources. Korean Journal of Remote Sensing, 37(2), 245-256. https://doi.org/10.7780/kjrs.2021.37.2.6
  8. Le, M. H., Cheng, C. H., and Liu, D. G., 2023. An efficient adaptive noise removal filter on range images for LiDAR point clouds. Electronics, 12(9), 2150. https://doi.org/10.3390/electronics12092150
  9. Lee, D., and Choi, K., 2023. Automatic validation of the geometric quality of crowdsourcing drone imagery. Korean Journal of Remote Sensing, 39(5-1), 577-587. https://doi.org/10.7780/kjrs.2023.39.5.1.9
  10. Sotoodeh, S., 2006. Outlier detection in laser scanner point clouds. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 36(5), 297-302. https://doi.org/10.3929/ethz-b-000037220
  11. Thomas, H., Qi, C. R., Deschaud, J. E., Marcotegui, B., Goulette, F., and Guibas, L. J., 2019. KPConv: Flexible and deformable convolution for point clouds. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea, Oct. 27-Nov. 2, pp. 6411-6420.
  12. UrbanARK, 2022. UrbanARK and coastal flooding. Available online: https://www.urbanark-project.org (accessed on Oct. 15, 2024)
  13. Wang, R., Peethambaran, J., and Chen, D., 2018. LiDAR point clouds to 3-D urban models: A review. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(2), 606-627. https://doi.org/10.1109/JSTARS.2017.2781132
  14. Yastikli, N., and Cetin, Z., 2016. Classification of LiDAR data with point based classification methods. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLI-B3, 441-445. https://doi.org/10.5194/isprs-archives-XLIB3-441-2016

Research Article

Korean J. Remote Sens. 2024; 40(6): 1039-1049

Published online December 31, 2024 https://doi.org/10.7780/kjrs.2024.40.6.1.14

Copyright © Korean Society of Remote Sensing.

딥러닝 기반 의미론적 분할을 활용한 크라우드소싱 라이다 데이터 이상점 탐지

이동호1, 최경아2*

1한국항공우주연구원 위성활용부 박사후연구원
2국토연구원 공간정보정책연구센터 부연구위원

Received: November 22, 2024; Revised: December 5, 2024; Accepted: December 5, 2024

Outlier Detection in Crowdsourced LiDAR Data Using Deep Learning-Based Semantic Segmentation

Dongho Lee1 , Kyoungah Choi2*

1Postdoctoral Researcher, Satellite Application Division, Korea Aerospace Research Institute, Daejeon, Republic of Korea
2Associate Research Fellow, National Infrastructure & Geospatial Information Research Division, Korea Research Institute for Human Settlements, Sejong, Republic of Korea

Correspondence to:Kyoungah Choi
E-mail: shale@krihs.re.kr

Received: November 22, 2024; Revised: December 5, 2024; Accepted: December 5, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (https://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Crowdsourced drone LiDAR data, collected from diverse sensors and environments, often suffer from inconsistent data quality. Outliers in such datasets can distort the characteristics of terrain and structures, leading to inaccurate decision-making. This study aims to validate the quality of crowdsourced LiDAR data by developing a precise outlier detection method based on semantic segmentation. Using the open-source Semantic Terrain Points Labeling Synthetic 3D (STPLS3D) dataset, noise-augmented training data were generated through simulations. Subsequently, a Kernel Point Convolution (KPConv) model was trained. The trained model was applied to real-world crowdsourced LiDAR data and compared with existing methods, including Statistical Outlier Removal (SOR) and Density-Based Spatial Clustering of Applications with Noise (DBSCAN). Experimental results demonstrated that the KPConv model outperformed SOR and DBSCAN in terms of accuracy and reliability, effectively identifying inherent noise in the original data. These findings highlight the utility of deep learning-based outlier detection methods for ensuring the quality of crowdsourced LiDAR data.

Keywords: Crowdsourced LiDAR data, Quality validation, Outlier detection, Semantic segmentation, Deep learning

1. 서론

라이다(LiDAR) 기술은 정밀한 3차원 포인트 클라우드(point cloud)를 제공함으로써 다양한 분야에서 핵심적 역할을 수행하고 있다. 재난 관리 분야에서는 신속하고 정확한 피해 평가와 대응을 지원하며(Jung et al., 2023), 환경 모니터링 영역에서는 식생 밀도와 높이 측정을 통해 생태계 변화 탐지에 기여한다(Ko et al., 2021). 또한, 도시 계획 및 인프라 개발 분야에서는 정밀한 모델링을 통해 비용 효율적이고 환경 친화적인 개발을 가능케 한다(Wang et al., 2018). 라이다 데이터 수집 플랫폼 중 드론은 유연한 운용이 가능하나, 항공기나 위성 등 타 플랫폼에 비해 커버할 수 있는 면적이 제한적이다. 특히, 광역지역의 정보 취득에는 막대한 비용과 노동력이 소요되어 대규모 지역 조사에 어려움을 겪는다.

이러한 한계를 극복하고자 최근 크라우드소싱(crowdsourcing) 방식이 공간정보 취득 방법으로 주목받고 있다. 크라우드소싱은 다수의 참여자로부터 데이터를 수집함으로써 단일 주체가 부담해야 할 비용과 시간을 분산시킬 수 있다. 또한, 다양한 지역에서 동시에 데이터를 수집할 수 있어 광범위한 지역의 정보를 빠르게 확보할 수 있다는 장점이 있다. 이로 인해 최근 크라우드소싱 방법론을 활용한 효율적인 대규모 지역의 공간정보 취득 시도가 증가하고 있다. Kim et al. (2021)은 크라우드소싱으로 수집된 차량 라이다 데이터를 활용하여 고정밀 3D 지도를 갱신하는 방법을 제안하였으며, Cho and Chung (2024)은 도심 지역의 도로에서 수집된 크라우드 소싱 라이다 데이터를 이용하여 차량의 실시간 위치를 파악하는 연구를 수행하였다. 또한 UrbanARK 프로젝트에서는 라이다 데이터와 크라우드소싱 거리뷰 이미지를 결합하여 도시 지하 공간 정보를 수집하는 방법을 개발하였다(UrbanARK, 2022). 이처럼 크라우드소싱 방법에 대한 활용사례는 증가하고 있지만, 데이터 품질 검증에 대한 연구는 여전히 부족한 실정이다(Lee and Choi, 2023). 크라우드소싱 데이터는 다양한 센서와 환경에서 수집되어 데이터의 일관성과 정확성을 보장하기 어렵다(Choi, 2022). 특히, 라이다 데이터의 이상점(outliers)은 데이터의 신뢰성을 저하시켜 지형 및 구조물 특성을 왜곡할 수 있으며, 이는 건축, 인프라 분석, 지형 변화 감지 등에서 심각한 오류와 부정확한 의사결정을 초래할 수 있다(Sotoodeh, 2006).

기존 라이다 데이터의 이상치 제거 방법은 주로 통계적 이상치 제거(statistical outlier removal, SOR) 방법이나 클러스터링(clustering) 등의 기법에 의존하고 있다. SOR 방법은 간단하고 빠르게 이상치를 탐지할 수 있으나, 데이터가 정규 분포를 따른다는 가정하에 이루어져 복잡한 지형이나 구조물의 밀집도가 다양한 상황에서는 데이터의 복잡한 분포를 반영하지 못하는 한계가 있다(Le et al., 2023). 또한, 클러스터링 기법은 데이터의 밀도와 지역적 특성을 고려하여 이상치를 탐지할 수 있으나 복잡한 3차원 구조에서는 성능이 저하될 수 있다(Yastikli and Cetin, 2016). 이처럼 SOR 방법이나 클러스터링 기법은 크라우드소싱 라이다 데이터의 특수성을 반영하기에 한계가 있다. 다양한 센서와 환경에서 수집된 크라우드소싱 데이터는 품질과 분포가 지역별로 크게 상이하여, 정규 분포나 단일 밀도 기준을 가정한 기존 방법으로는 정확한 이상치 탐지가 어렵다.

이러한 한계를 극복하기 위해 정밀한 의미론적 분할(semantic segmentation) 기법을 활용한 접근법이 필요하다. 3D 포인트 클라우드에서의 의미론적 분할은 데이터를 구성하는 각 포인트에 대해 건물, 도로, 나무 등과 같은 특정 클래스를 할당하여 데이터의 구조적 패턴과 객체 의미 정보를 해석하는 과정이다. 이를 통해 데이터 내에서 개별 객체의 의미를 명확히 구분할 수 있으며, 비정형적이고 비선형적인 데이터 패턴을 학습하는 데 강점을 가진다. 특히 딥러닝 기반의 3D 의미론적 분할기법은 각 포인트의 좌표, 반사 강도 등 공간적 특성을 학습하여 정밀한 라벨 예측과 군집화를 가능하게 한다. 이를 통해 포인트 클라우드의 복잡한 3차원 구조 내에서 객체 간의 연관성을 파악하고, 데이터의 문맥적 정보를 활용하여 이상치를 효과적으로 탐지할 수 있다.

이에 본 연구에서는 딥러닝 기반 의미론적 분할을 활용한 크라우드소싱 드론 라이다 데이터의 이상치 탐지 방법을 개발하고자 한다. 이를 위해, 먼저 이상치 탐지에 적합한 딥러닝 학습 데이터를 구축하였으며, 이를 활용하여 딥러닝 모델을 학습하였다. 이후, 학습된 모델을 실제 크라우드소싱 라이다 데이터에 적용하여, 기존의 SOR 방법 및 클러스터링 기법과 성능을 비교 분석하였다. 또한, 크라우드소싱 라이다 데이터에 인위적으로 이상치를 생성한 시뮬레이션 데이터를 구축하여, 딥러닝 모델의 이상치 탐지 성능을 추가적으로 검증하였다. 이를 통해 제안된 방법의 성능과 유효성을 종합적으로 평가하고자 하였다.

2. 딥러닝 학습데이터 구축 및 모델 학습

2.1. 학습데이터 구축

2.1.1. 데이터 소스

본 연구에서는 이상점을 효과적으로 탐지하기 위한 딥러닝 모델을 개발하고자 하였다. 이를 위해서는 고품질의 학습 데이터셋이 필수적이다. 그러나 대용량 라이다 데이터에서 각 포인트의 객체 정보를 육안으로 확인하여 학습 데이터를 구축하는 것은 많은 시간과 자원이 소모되는 작업이다. 이러한 문제를 해결하기 위해, 본 연구에서는 오픈소스 라이다 데이터셋인 semantic terrain points labeling synthetic 3D (STPLS3D)를 활용하였다.

STPLS3D는 실내외 환경에서 수집된 다양한 3차원 포인트 클라우드를 포함하며, 정밀한 시멘틱 라벨링(sementic labeling)과 인스턴스 라벨링(instance labeling)을 제공한다. 이 데이터셋은 16 km2 이상의 지역과 19개의 세분화된 시멘틱 Class를 포함하고 있으며(Table 1), 합성 데이터와 실제 환경 데이터를 모두 제공하여 다양한 시나리오에서 모델의 학습과 검증을 가능하게 한다(Chen et al., 2022). 특히, STPLS3D는 실제 unmanned aerial vehicle (UAV) 비행 패턴을 기반으로 데이터가 생성되어 라이다 센서로 수집된 실제 데이터와 유사한 노이즈 패턴과 품질을 보장한다. 또한, 합성과 실제 데이터를 결합하여 일반적인 드론 라이다 데이터보다 다양한 환경과 조건에서의 학습 가능성을 제공하며, 정밀한 라벨링을 통해 객체의 세부 정보와 분류 정확도를 높인다.

Table 1 . Label information of the STPLS3D dataset (Chen et al., 2022).

LabelClassLabelClass
0Ground10Motocycle
1Building11LightPole
2LowVegetation12StreetSign
3MdiumVegetation13Clutter
4HighVegetation14Fence
5Vehicle15Road
6Truck16-
7Aircraft17Window
8MilitaryVehicle18Dirt
9Bike19Grass


STPLS3D는 67개 파일로 구성되어 있으며, 각 파일은 약 3천만~5천만 개의 포인트를 포함한다. 각 포인트는 X, Y, Z 좌표, RGB 색상 정보, 클래스 라벨 등 7개의 속성을 가지며, 포인트 간 간격은 0.1미터로 설정되어 있다. 이러한 높은 해상도와 세밀한 라벨링은 복잡한 구조물과 단순한 구조물을 모두 포함하여 다양한 환경에서의 이상치 탐지 성능을 평가하는 데 적합하다. 데이터는 .ply 형식으로 제공되며, 포인트 클라우드 기반의 딥러닝 모델 학습에 최적화되어 있다.

2.1.2. 이상점 시뮬레이션

본 연구는 이상점 탐지를 위한 딥러닝 모델 학습을 목표로 한다. 그러나 STPLS3D 데이터셋에는 Table 1과 같이 이상점이 포함되어 있지 않기 때문에, 학습 데이터로 활용하기 위해 STPLS3D 데이터셋에 인위적으로 이상점을 추가하는 과정을 수행하였다. 추가된 이상점은 STPLS3D의 데이터 특성을 유지하면서도, 모델 학습 및 검증에 필요한 다양한 이상치 패턴을 포함하도록 설계하였다. 이상점 생성 과정에서 모든 포인트는 X, Y, Z 좌표, RGB 색상 정보, CLASS(클래스 라벨)를 포함한 7개의 속성을 유지하도록 하였다. 이상점에는 기존 클래스에 포함되지 않은 새로운 라벨 번호를 할당하고, 해당 라벨은 이상점을 나타내는 별도의 클래스명으로 지정하였다.

이상점 좌표는 원본 포인트 클라우드 데이터의 X, Y 좌표 범위 내에서 무작위로 생성되었으며, Z 좌표는 해당 포인트 클라우드 전체 평균 Z 값에서 표준편차(±2σ) 범위 내에 위치하도록 랜덤하게 설정하였다. 이를 통해, 이상점이 원본 데이터와 유사한 범위 내에 자연스럽게 분포하도록 하였으며, 극단적인 Z 값으로 인한 비현실적인 이상점 생성을 방지하였다.

이상점의 RGB 색상 정보는 원본 데이터에서 임의로 선택하였고, 전체 데이터의 약 0.005%에서 0.01%에 해당하는 2,000개에서 40,000개 규모로 이상점을 추가하였다. 해당 비율은 지나치게 높게 설정할 경우 정상 데이터의 특성이 희석될 가능성을 고려하여 실제 라이다 데이터에서 이상점이 포함되는 빈도를 반영하기에 적절하도록 설정하였다. 이를 통해 학습 데이터가 실제 환경을 보다 효과적으로 모사할 수 있도록 구성하였다. 기존 STPLS3D 데이터셋의 클래스가 0번부터 19번까지로 설정되어 있으므로, 이상점에는 클래스 20번을 부여하여 기존 데이터와 구별되도록 하였다.

이와 같은 과정을 통해 STPLS3D 데이터셋에 이상점을 추가하여, 딥러닝 모델이 정상 포인트와 이상점을 효과적으로 구분할 수 있는 학습 데이터를 구축하였다. Fig. 1은 STPLS3D 데이터셋에 추가된 이상점을 시각적으로 보여준다.

Figure 1. Comparison of STPLS3D dataset (a) before and (b) after adding outliers.

2.2. 딥러닝 모델 학습

2.2.1. 모델 선정

상기 구축된 데이터셋 학습을 위한 딥러닝 모델은 kernel point convolution (KPConv) 모델이 사용되었다. KPConv는 시멘틱 세그멘테이션 기법을 기반으로 3차원 포인트 클라우드 데이터를 입력받아 각 포인트의 클래스를 예측하며, 좌표와 반사 강도 등 공간적 특성을 학습하여 정밀한 객체 분류와 군집화를 수행한다. KPConv는 비정형적이고 불규칙한 데이터 구조를 처리하는 데 최적화된 모델이다. Fig. 2와 같이, 각 포인트의 특성 벡터 fi는 여러 개의 커널 가중치 행렬 Wk와 곱해지며, 이 과정에서 포인트와 커널 간의 상대적 위치를 고려한 상관 계수 hik가 적용된다(Thomas et al., 2019).

Figure 2. Differences between 2D image convolution and KPConv (Thomas et al., 2019).

이러한 메커니즘은 포인트 간의 상대적 거리와 위치를 동적으로 반영하여, 고정된 정렬이 없는 데이터에서도 컨볼루션을 수행할 수 있도록 한다. 이를 통해 포인트 간의 공간적 관계를 더욱 정밀하게 학습할 수 있다. 또한, KPConv는 지역적 패턴과 밀도 변화를 효과적으로 반영하여 밀도가 높은 영역과 희소한 영역 혼재하더라도 우수한 성능을 발휘한다. 라이다 데이터의 복잡한 3D 구조를 분석하는 데도 강점을 가지며, 건물과 지형의 세밀한 특성을 포착하고 비구형 클러스터나 비정규 구조를 탐지할 수 있다. 이러한 특성으로 인해KPConv는 크라우드소싱 라이다 데이터의 다양한 공간적 특성과 구조적 복잡성을 반영하여 이상점 탐지의 정밀성과 신뢰성을 높이는 데 매우 적합한 모델로 선정하였다.

2.2.2 학습 파라미터 설정

KPConv 모델의 학습을 위해 여러 하이퍼파라미터를 설정하였다. 컨볼루션 커널 크기는 STPLS3D 데이터셋의 포인트 간 간격(0.1 m)을 고려하여 0.2 m로 설정하였으며, 이를 통해 각 포인트의 지역적 특성을 효과적으로 학습할 수 있도록 하였다. 학습률은 0.00125로 설정하여 학습이 안정적으로 진행되도록 하였고, 배치 사이즈는 8개의 포인트 클라우드 샘플파일을 한번에 처리할 수 있도록 구성하였다. 모델의 충분한 학습을 보장하기 위해 에포크 수는 500으로 설정하였다. 최적화 알고리즘으로는 Adam Optimizer를 사용하였으며, 이는 모멘텀과 적응형 학습률을 활용하여 빠르고 안정적인 수렴을 제공한다. 모델 학습에 사용된 컴퓨팅 환경은 Table 2에 요약되어 있다.

Table 2 . Computing environment for KPConv model training.

CategoryItemSpecification
HardwareGPUNVIDIA Tesla A100 (40GB)
CPUIntel Xeon (R) Gold 6242R CPU @3.10 GHz (12core)
RAM64 GB
Storage1.7TB SSD
SoftwareOperating SystemUbuntu 20.04.6 LTS
Deep Learning FrameworkPyTorch 1.8.0+cu111
CUDA versionCUDA 11.2
cuDNN versioncuDNN 8.0.5
Python version3.8.19


2.2.3 학습 모델 성능 평가

KPConv 모델의 검증을 위해 STPLS3D 데이터셋의 총 67개 파일 중 65개를 학습 데이터로 사용하고, 나머지 두 파일인 WMSC_points와 SanFrancisco를 검증 데이터로 활용하였다. WMSC_points는 총 9,977,764개의 포인트로 구성되어 있으며, 산악 지형과 소규모 건물이 혼재된 포인트 클라우드 데이터를 포함하고 있다(Fig. 3a). SanFrancisco 데이터는 총 40,112,464개의 포인트로 구성되며, 복잡한 도심 지역을 배경으로 한다(Fig. 3b).

Figure 3. Visualization of WMSC_points and SanFrancisco point cloud data.

두 데이터를 기반으로 이상점 시뮬레이션을 수행하여, WMSC_points에는 7,413개의 이상점을, SanFrancisco 데이터에는 40,146개의 이상점을 각각 생성하였다. 생성된 시뮬레이션 데이터에 KPConv 모델을 적용하여 검증을 진행하였다. 한편, STPLS3D 데이터셋은 20개의 세분화된 시멘틱 세그멘트 클래스를 포함하고 있다. 그러나, 본 연구의 목적은 이상점 탐지에 중점을 두고 효율적인 모델 학습 및 검증을 위하여 유사한 범주를 군집화하여 총 7개의 클래스로 축소하였다(Table 3).

Table 3 . Mapping information between original labels (1–20) and grouped labels (0–6).

Original LabelGrouped Label (Class)
0, 15, 16, 18, 190 (Ground)
1, 7, 9, 10, 13, 171 (Building)
2, 3, 42 (Vegetation)
5, 6, 83 (Car)
11, 124 (Light)
145 (Fence)
206 (Outlier)


모델의 시멘틱 세그멘테이션 분류 성능은 오류 행렬(errormatrix) 및 카파 계수(kappa coefficient)를 기반으로 평가하였다. 오류 행렬은 각 클래스의 예측 결과를 실제 값과 비교하여 모델의 분류 정확도를 정량적으로 나타내며, 카파 계수는 예측값이 무작위로 이루어질 확률을 배제하고 모델의 예측 일치도를 평가하기 위한 지표로 활용된다. 검증 결과WMSC_points 데이터셋에서는 Ground 클래스에서ProducerAccuracy가 92.8%, UserAccuracy가 98.2%로 가장 높은 정확도를 기록했으며, Building 클래스는 각각 95.7%와 89.6%로 나타났다. Vegetation 클래스에서는 Producer Accuracy가 93.7%, User Accuracy가 82.7%로 산악 지형의 복잡한 식생 패턴을 잘 반영하였다(Table 4).

Table 4 . Semantic segmentation model classification results for WMSC_points.

GroundBuildingVegetationCarLightFenceOutlierUser Accuracy
Ground6,513,06315,136103,8152,156819891540.982
Building102,3691,013,3247,1253,9786353,4351730.896
Vegetation345,05915,0721,724,772357381,2941780.827
Car8,0264,193029,8140000.709
Light22102,50003,4870240.56
Fence52,18310,7941,7930511,51740.151
Outlier149861133017,0610.953
Producer Accuracy0.9280.9570.9370.8210.8210.6680.93
Overall Accuracy0.932
Kappa0.858


그러나 Fence 클래스는 ProducerAccuracy가 66.8%, UserAccuracy가 15.1%로 상대적으로 낮은 성능을 보여, Fence 포인트의 적은 수와 주변 클래스와의 공간적 유사성이 분류 성능에 영향을 준 것으로 보인다. Outlier 클래스에서는 ProducerAccuracy가 93.0%, UserAccuracy가 95.3%로 나타나, WMSC_points 데이터셋의 다양한 산악 지형과 복잡한 구조에서도 모델이 이상점을 높은 정확도로 탐지했음을 확인할 수 있었다. 이는 모델이 Outlier 클래스에서의 공간적 특징과 문맥적 정보를 효과적으로 학습했음을 보여준다.

SanFrancisco데이터셋에서는Ground클래스에서ProducerAccuracy가 98.6%, User Accuracy가 98.9%로 매우 높은 정확도를 기록하였다. Building 클 래 스 는 Producer Accuracy가 99.2%, User Accuracy가 99.1%로 도시 환경 내 구조물의 특성을 잘 학습한 결과를 보여주었다. Vegetation 클래스에서는 Producer Accuracy가 99.4%, User Accuracy가 99.5%로 나타나 도심 지역에서도 복잡한 식생 패턴을 효과적으로 처리하였다. 반면 Light 클래스는 Producer Accuracy가 91.7%, User Accuracy가 87.7%로 상대적으로 낮은 성능을 보였으며, 이는 도심 지역 내 Light 클래스의 특성이 주변 클래스와 혼동되기 쉬운 특성을 반영한다. Outlier 클래스에서는 Producer Accuracy가 99.2%, User Accuracy가 80.7%로 나타나, 이상점 탐지 성능이 도심 지역에서도 매우 우수했음을 입증하였다(Table 5).

Table 5 . Semantic segmentation model classification results for SanFrancisco.

GroundBuildingVegetationCarLightOutlierUser Accuracy
Ground14,123,272141,4136,20312,82167630.989
Building170,47920,449,83525,0501841961320.991
Vegetation7,10719,9025,111,74720292440.995
Car15,0964,331484217,891000.916
Light2265509006,21690.877
Outlier9555,5001,25418832,4110.807
Producer Accuracy0.9860.9920.9940.9440.9170.992
Overall Accuracy0.99
Kappa0.983


특히, WMSC_points와 비교할 때, Outlier 클래스의 User Accuracy가 상대적으로 낮아진 원인은 도심 환경의 복잡한 공간적 특성에서 비롯된 것으로 해석된다. 학습된 클래스가 아닌 구조물이나 동적인 객체가 존재할 확률이 증가하며, 도심 환경은 건물, 도로, 식생, 그리고 기타 인프라가 밀집되어 있어 포인트 간 경계가 모호해지는 현상으로 인하여 정상 포인트와 이상점 간 구분의 난이도가 증가하게 된다. 이러한 요인은 모델이 도심 환경의 데이터에 대하여 오분류할 가능성을 증가시켰으며 성능 평가 결과에 있어서WMSC_points와 같은 산악 지형 데이터셋에 비하여 San Francisco와 같은 도심 데이터 셋에 대해 이상점 탐지 성능이 저하된 것을 확인할 수 있었다. 이를 개선하기 위해 도심 데이터셋에 대해서는 더 섬세하고 정밀한 분류를 요구하는 것으로 해석할 수 있다.

3. 크라우드소싱 라이다 데이터를 활용한 성능 검증

3.1. 크라우드소싱 라이다 데이터

본 연구에서 학습된 모델의 성능을 검증하기 위해 서울특별시 강남구 수서동에 위치한 수서역(37°29′15.0″N 127°06′04.0″E)의 포인트 클라우드 데이터를 활용하였다(Fig. 4). 해당 데이터는 2024년 4월 6일에 M300 RTK (DJI, China) 드론에 Zenmuse L1 (DJI, China) 센서를 탑재한 시스템으로 수집되었으며, 크라우드소싱 형태로 제공받았다. 데이터는 LAS 포맷으로 제공되었으며, 각 포인트는 좌표 정보, 반사 강도, 리턴 번호, 총 리턴 수, 스캔 각도, GPS 시간, 색상 정보(RGB) 등 다양한 속성 정보를 포함하고 있다. 수집된 데이터는 총 48,446,645개의 포인트로 이루어져 있으며, 평균 점간격은 약 0.02 m이다. 이는 수서역 일대의 복잡한 지형 및 구조물을 정밀하게 표현할 수 있는 충분한 데이터 양을 제공한다.

Figure 4. Study area location for the experimental data.

3.2. 기존 탐지 방법과 비교 검증

3.2.1. 기존 이상점 탐지 방법

크라우드소싱 라이다 데이터의 이상점 탐지를 위해 제안한 딥러닝 기반 모델인 KPConv의 성능을 검증하고자, 통계적 기법인 SOR 방법과 클러스터링 알고리즘인 density-based spatial clustering of applications with noise (DBSCAN)을 함께 적용하여 비교 분석을 실시하였다.

SOR 방법은 포인트 클라우드 데이터의 통계적 특성을 활용하여 이상점을 제거하는 기법이다. 각 포인트의 고도나 반사 강도와 같은 속성값이 평균에서 일정 범위를 벗어나는 경우, 해당 포인트를 이상점으로 간주한다. 라이다 데이터의 3차원 좌표를 이용하여 각 점과 인접점 간 거리에 대한 평균 거리 및 표준편차를 계산하고, 이를 바탕으로 임계치를 설정한다. 임계치 계산식은 다음과 같다.

thr=D¯i+α×σi
outlier=Di>thr

여기서, thr은 임계치, D¯ii번째 점에 인접한 n개 점에 대한 평균 거리, α는 표준편차 계수, αi는 각 점과 그 인접한 n개 점들 간의 거리에 대한 표준편차이다. 임계치를 결정하는 주요 파라미터는 nα이다. 본 연구에서는 n=20, α=2로 설정하였다.

DBSCAN은 데이터의 밀도를 기반으로 클러스터를 형성하고 이상점을 탐지하는 알고리즘이다. DBSCAN의 특징은 특정 분포 패턴을 가정하지 않고 데이터의 밀집도를 기준으로 클러스터를 형성하기 때문에, 데이터가 정규 분포를 따르지 않더라도 효과적으로 이상점을 탐지할 수 있다. DBSCAN은 각 포인트를 기준으로 반경(ε) 내에 있는 인접한 점들의 수가 사전에 설정한 임계값 최소 포인트 수(min points, MinPts) 이상이면, 해당 포인트를 핵심 포인트(core point)로 선정한다. 인접 포인트 수가MinPts 이하인 포인트는 경계점(border point) 또는 이상점으로 간주된다. 또한 핵심 포인트는 인접한 포인트들과 연결되어 군집을 형성한다. 경계점은 핵심 포인트와 연결된 클러스터에 포함되며, 어느 클러스터에도 속하지 않고 주변 점들과 밀집도가 낮은 포인트는 이상점으로 분류된다(Ester et al., 1996). 본 연구에서는 DBSCAN의 하이퍼 파라미터로 반경(ε)=0.2 m, MinPts=10을 설정하였다.

KPConv 모델은 Table 3에서 제시된 변환된 라벨링 체계를 기반으로 작동한다. 그러나 크라우드소싱 데이터는 이러한 라벨 정보를 포함하지 않으므로, 본 연구에서는 KPConv 모델의 분류 결과를 0부터 5까지의 클래스로 분류된 포인트는 정상 포인트로, 6번 클래스로 분류된 포인트는 이상점으로 간주하였다. 이 기준을 바탕으로, 모든 이상점 탐지 기법에 대해 전체 포인트 수 대비 이상점 비율을 산출하였다. 이를 통해 각 기법의 이상점 탐지 성능을 정량적으로 평가하고 비교하였다.

3.2.2. 이상점 탐지 비교 분석 결과

Table 6은 SOR, DBSCAN, KPConv 모델을 활용하여, 크라우드소싱 라이다 데이터에 대한 이상점을 탐지한 결과이다. SOR 방법을 적용하여 이상점을 탐지한 결과, 수서역 포인트 클라우드 데이터 총 48,446,645개 포인트 중 1,864,507개가 이상점으로 탐지되었으며, 이상점 비율은 약 3.85%로 나타났다. DBSCAN 기법을 적용한 결과, 전체 포인트 중 923,823개가 이상점으로 탐지되었으며, 이는 전체 포인트의 1.91%에 해당한다. DBSCAN의 탐지 결과는 통계적 방법에 비해 이상점 비율이 크게 감소하였다. KPConv 모델을 활용하여 이상점을 탐지한 결과, 전체 48,446,645개 포인트 중 8,674개가 이상점으로 분류되었으며, 이는 0.017%로 가장 낮은 비율을 기록하였다.

Table 6 . Outlier detection results for crowdsourced LiDAR data using SOR, DBSCAN, and KPConv models.

MethodNumber of PointsNumber of OutliersOutlier Rate (%)
Statistical Outlier Removal48,446,6451,864,5073.85
DBSCAN923,8231.91
KPConv8,6740.017


SOR, DBSCAN, KPConv 모델 모두 이상점 탐지에서 각기 다른 결과를 보였다. SOR 방법은 가장 많은 이상점을 탐지했으나, 이는 데이터의 지역적 특성을 충분히 반영하지 못한 결과로 볼 수 있다. Fig. 5(b)에서와 같이 SOR 방법은 나무와 같은 식생이나 기둥 등 정상적인 구조물을 이상점으로 분류하는 경우가 많았다. 이는 단순히 통계적 임계값을 기반으로 이상점을 탐지하기 때문에 발생하는 한계로, 데이터의 복잡한 공간적 관계를 고려하지 못하여 신뢰성이 떨어진다.

Figure 5. Visualization of original point cloud and outlier detection results using SOR, DBSCAN, and KPConv.

DBSCAN은 SOR에 비해 이상점 비율을 크게 줄이며, 보다 정밀한 탐지를 수행하였다. 밀도가 낮은 영역의 포인트를 효과적으로 이상점으로 탐지하고, 밀도가 높은 지역의 포인트를 정상으로 분류하는데 강점을 보였으나, 여전히 데이터의 밀도 변화에만 의존하여 이상점을 판단하는 한계를 가진다(Fig. 5c). 특히, 포인트 클라우드의 가장자리와 같이 낮은 중복도로 인한 밀도가 낮은 부분을 대부분 이상점으로 간주하는 경향이 있어 복잡한 구조를 다루는 데 있어 오탐지 가능성이 존재한다.

반면, KPConv 모델은 가장 적은 수의 이상점을 탐지하며, 높은 정밀도와 신뢰성을 보였다. KPConv는 단순히 밀도가 낮은 부분을 이상점으로 판단하는 것이 아니라, 포인트 간의 공간적 관계와 문맥적 정보를 학습하여 복잡한 구조적 특성을 효과적으로 반영한다. 이를 통해, DBSCAN과 SOR에서 이상점으로 탐지된 포인트 중 정상 포인트를 정확히 분류할 수 있었으며, 데이터의 가장자리와 같은 밀도가 낮은 부분에서도 이상점을 효과적으로 구분할 수 있었다(Fig. 5d). 결론적으로, KPConv 모델은 SOR 및 DBSCAN과 비교하여 이상점 탐지의 신뢰성과 정확성을 크게 향상시키며, 크라우드소싱 포인트 클라우드 데이터의 이상점 탐지에 가장 적합한 방법임을 입증하였다. 이를 통해, 데이터의 복잡한 구조적 특성과 밀도 변화를 효과적으로 처리할 수 있는 딥러닝 기반 접근법의 유용성이 확인되었다.

3.3. 시뮬레이션 데이터를 활용한 검증

3.3.1. 시뮬레이션 데이터 생성 및 분석 방법

본 연구에서는 학습된 KPConv 모델의 이상점 탐지 성능을 검증하기 위해, STPLS3D 기반으로 학습된 모델을 수서역 포인트 클라우드 데이터에 적용하여 테스트를 진행하였다. 실험 방법은 수서역 포인트 클라우드 데이터셋에 대해 섹션 2.1.2에서 설명한 방법을 적용하여 0.05%의 이상점을 시뮬레이션하여 추가하였다(Fig. 6). 이를 통해 STPLS3D 데이터의 포인트 간 간격(0.1 m)과 수서역 데이터의 포인트 간 간격(0.02 m)이라는 차이가 존재함에도 불구하고, 모델이 이러한 환경 차이에서도 이상점을 효과적으로 탐지할 수 있는지 평가하고자 하였다.

Figure 6. Visualization of original and outlier-added point cloud data for Suseo station.

모델 성능 평가는 혼동행렬(confusionmatrix)을 기반으로 수행되었으며, 각 탐지 결과는 Table 7과 같이 정의된다. 실제 이상점을 정확히 탐지한 경우를 true positive (TP)로, 실제 이상점이 아닌 데이터를 정확히 정상으로 탐지한 경우를 true negative (TN)로 간주하였다. 반면, 실제 이상점이 아닌 데이터를 이상점으로 잘못 탐지한 경우는 false positive (FP), 실제 이상점을 탐지하지 못한 경우는 false negative (FN)로 정의하였다. 이러한 지표를 바탕으로 모델의 정밀도(Precision), 재현율(Recall) 그리고 F1-score를 계산하여 이상점 탐지 성능을 종합적으로 평가하였다. 이상점의 라벨링은 원본 포인트 클라우드 데이터의 포인트를 0으로, 시뮬레이션을 통해 생성된 이상점을 1로 설정하였다. 시멘틱 세그멘테이션 결과에서 클래스 6으로 분류된 포인트는 이상점으로 간주하였으며, 나머지 클래스로 분류된 포인트는 정상으로 간주하여 혼동행렬을 구성하였다.

Table 7 . Confusion matrix and evaluation metrics for classification performance.

Predict
PositiveNegative
Ground TruthPositiveTrue positive (TP)False negative (FN)
NegativeFalse positive (FP)True negative (TN)
Precision(TP) / (TP + FP)
Recall(TP) / (TP + FN)
F1-Score(2 * Precision * Recall) / (Precision + Recall)


3.3.2. 이상점 탐지 결과

0.05% 수준의 시뮬레이션 데이터에서 모델의 이상점 탐지 성능을 평가한 결과, 총 24,223개의 이상점 중 21,912개가 TP로, 2,311개가 FN으로 분류되었다. 또한, 48,446,644개의 정상 데이터 중 48,437,837개가 TN으로, 8,807개가 FP로 분류되었다. 이 결과는 Precision은 71.3%, Recall은 90.5%, F1-Score는 80%의 성능을 나타내었다(Table 8).

Table 8 . Confusion matrix and performance evaluation results for data with 0.05% anomaly Level.

Predict
PositiveNegative
Ground TruthPositive21,9122,311
Negative8,80748,437,837
Precision0.713
Recall0.905
F1-Score0.800


원본 데이터에 포함된 8,674개의 이상점(Table 6)이 시뮬레이션되지 않았지만 모델에 의해 이상점으로 탐지되어 FP로 분류된 것을 고려하여 성능평가를 재수행하면 Table 9와 같다. 모델의 정밀도와 재현율이 각각 99.6%, 93.0%로 크게 향상되었고, 이는 모델이 원본 데이터에 내재된 이상점까지 효과적으로 탐지하고 있음을 의미한다. 따라서 딥러닝 기반의 KPConv 모델이 크라우드소싱 라이다 데이터의 이상점 탐지 성능이 매우 우수한 것을 나타낸다.

Table 9 . Confusion matrix and performance evaluation results considering the anomaly ratio in the original data.

Predict
PositiveNegative
Ground TruthPositive21,912 + 8,674 = 30,5862,311
Negative8,807 - 8,674 = 13348,437,837
Precision0.996
Recall0.930
F1-Score0.962


Fig. 7은 0.05% 수준에서의 이상점 탐지 결과를 시각화한 것으로, 빨간 점이 이상점으로 탐지된 포인트를 나타낸다. 시뮬레이션 데이터를 가시화한 Fig. 6과 비교하였을 때, 모델이 시뮬레이션된 대부분의 이상점을 성공적으로 탐지한 것을 확인할 수 있다.

Figure 7. Visualization of outlier detection results at 0.05% noise level.

4. 결론

본 연구에서는 크라우드소싱 드론 라이다 데이터의 품질 검증을 위해 이상점 탐지 방법을 개발하고 그 성능을 평가하였다. 이를 위해 오픈소스 데이터셋인 STPLS3D를 활용하여 딥러닝 학습 데이터를 구축하고, KPConv 모델을 학습하였다. 이후 학습된 모델을 실제 크라우드소싱 라이다 데이터에 적용하여 SOR 방법과 DBSCAN 기법과의 성능을 비교 분석하였다. 또한, 인위적으로 이상점을 생성한 시뮬레이션 데이터를 통해 모델의 이상점 탐지 성능을 정량적으로 검증하였다.

실험 결과, KPConv 모델은 SOR 및 DBSCAN 기법에 비해 이상점 탐지의 정확성과 신뢰성이 뛰어남을 확인하였다. SOR 방법은 데이터의 지역적 특성을 충분히 반영하지 못해 많은 정상 포인트를 이상점으로 오인하였고, DBSCAN 기법은 밀도가 낮은 영역에서 오탐지 가능성이 높았다. 반면, KPConv 모델은 포인트 간의 공간적 관계와 문맥적 정보를 학습하여 복잡한 구조적 특성을 효과적으로 반영하였으며, 높은 정확도를 나타내었다.

시뮬레이션 데이터를 활용한 추가 검증에서도 KPConv 모델은 이상점 탐지에 있어서 F1-score 기준 96.2%로 높은 성능을 보였다. 특히, 원본 데이터에 내재된 이상점까지 효과적으로 탐지하여 크라우드소싱 라이다 데이터의 품질 개선에 도움이 될 수 있음을 보였다. 이러한 결과는 딥러닝 시멘틱 세그멘테이션 기반의 이상점 탐지 방법이 크라우드소싱 라이다 데이터의 품질 검증에 있어 유용한 도구로 활용될 수 있음을 시사한다. 크라우드소싱 데이터는 다양한 센서와 환경에서 수집되므로 데이터 품질의 일관성이 중요하며, 제안된 방법은 이러한 데이터의 복잡성과 불균일성을 효과적으로 처리할 수 있을 것으로 판단된다. 향후 연구에서는 다양한 비행 고도와 환경에서 생성되는 드론 라이다 데이터에 대한 적용성을 검토하고 모델의 일반화 능력을 향상시키기 위한 추가적인 데이터 수집과 학습을 진행할 예정이다.

사사

본 연구는 국토교통부/국토교통과학기술진흥원의 디지털 국토정보기술개발사업 지원으로 수행되었음(과제번호 RS-2022-00142501).

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

Fig 1.

Figure 1.Comparison of STPLS3D dataset (a) before and (b) after adding outliers.
Korean Journal of Remote Sensing 2024; 40: 1039-1049https://doi.org/10.7780/kjrs.2024.40.6.1.14

Fig 2.

Figure 2.Differences between 2D image convolution and KPConv (Thomas et al., 2019).
Korean Journal of Remote Sensing 2024; 40: 1039-1049https://doi.org/10.7780/kjrs.2024.40.6.1.14

Fig 3.

Figure 3.Visualization of WMSC_points and SanFrancisco point cloud data.
Korean Journal of Remote Sensing 2024; 40: 1039-1049https://doi.org/10.7780/kjrs.2024.40.6.1.14

Fig 4.

Figure 4.Study area location for the experimental data.
Korean Journal of Remote Sensing 2024; 40: 1039-1049https://doi.org/10.7780/kjrs.2024.40.6.1.14

Fig 5.

Figure 5.Visualization of original point cloud and outlier detection results using SOR, DBSCAN, and KPConv.
Korean Journal of Remote Sensing 2024; 40: 1039-1049https://doi.org/10.7780/kjrs.2024.40.6.1.14

Fig 6.

Figure 6.Visualization of original and outlier-added point cloud data for Suseo station.
Korean Journal of Remote Sensing 2024; 40: 1039-1049https://doi.org/10.7780/kjrs.2024.40.6.1.14

Fig 7.

Figure 7.Visualization of outlier detection results at 0.05% noise level.
Korean Journal of Remote Sensing 2024; 40: 1039-1049https://doi.org/10.7780/kjrs.2024.40.6.1.14

Table 1 . Label information of the STPLS3D dataset (Chen et al., 2022).

LabelClassLabelClass
0Ground10Motocycle
1Building11LightPole
2LowVegetation12StreetSign
3MdiumVegetation13Clutter
4HighVegetation14Fence
5Vehicle15Road
6Truck16-
7Aircraft17Window
8MilitaryVehicle18Dirt
9Bike19Grass

Table 2 . Computing environment for KPConv model training.

CategoryItemSpecification
HardwareGPUNVIDIA Tesla A100 (40GB)
CPUIntel Xeon (R) Gold 6242R CPU @3.10 GHz (12core)
RAM64 GB
Storage1.7TB SSD
SoftwareOperating SystemUbuntu 20.04.6 LTS
Deep Learning FrameworkPyTorch 1.8.0+cu111
CUDA versionCUDA 11.2
cuDNN versioncuDNN 8.0.5
Python version3.8.19

Table 3 . Mapping information between original labels (1–20) and grouped labels (0–6).

Original LabelGrouped Label (Class)
0, 15, 16, 18, 190 (Ground)
1, 7, 9, 10, 13, 171 (Building)
2, 3, 42 (Vegetation)
5, 6, 83 (Car)
11, 124 (Light)
145 (Fence)
206 (Outlier)

Table 4 . Semantic segmentation model classification results for WMSC_points.

GroundBuildingVegetationCarLightFenceOutlierUser Accuracy
Ground6,513,06315,136103,8152,156819891540.982
Building102,3691,013,3247,1253,9786353,4351730.896
Vegetation345,05915,0721,724,772357381,2941780.827
Car8,0264,193029,8140000.709
Light22102,50003,4870240.56
Fence52,18310,7941,7930511,51740.151
Outlier149861133017,0610.953
Producer Accuracy0.9280.9570.9370.8210.8210.6680.93
Overall Accuracy0.932
Kappa0.858

Table 5 . Semantic segmentation model classification results for SanFrancisco.

GroundBuildingVegetationCarLightOutlierUser Accuracy
Ground14,123,272141,4136,20312,82167630.989
Building170,47920,449,83525,0501841961320.991
Vegetation7,10719,9025,111,74720292440.995
Car15,0964,331484217,891000.916
Light2265509006,21690.877
Outlier9555,5001,25418832,4110.807
Producer Accuracy0.9860.9920.9940.9440.9170.992
Overall Accuracy0.99
Kappa0.983

Table 6 . Outlier detection results for crowdsourced LiDAR data using SOR, DBSCAN, and KPConv models.

MethodNumber of PointsNumber of OutliersOutlier Rate (%)
Statistical Outlier Removal48,446,6451,864,5073.85
DBSCAN923,8231.91
KPConv8,6740.017

Table 7 . Confusion matrix and evaluation metrics for classification performance.

Predict
PositiveNegative
Ground TruthPositiveTrue positive (TP)False negative (FN)
NegativeFalse positive (FP)True negative (TN)
Precision(TP) / (TP + FP)
Recall(TP) / (TP + FN)
F1-Score(2 * Precision * Recall) / (Precision + Recall)

Table 8 . Confusion matrix and performance evaluation results for data with 0.05% anomaly Level.

Predict
PositiveNegative
Ground TruthPositive21,9122,311
Negative8,80748,437,837
Precision0.713
Recall0.905
F1-Score0.800

Table 9 . Confusion matrix and performance evaluation results considering the anomaly ratio in the original data.

Predict
PositiveNegative
Ground TruthPositive21,912 + 8,674 = 30,5862,311
Negative8,807 - 8,674 = 13348,437,837
Precision0.996
Recall0.930
F1-Score0.962

References

  1. Chen, M., Hu, Q., Yu, Z., Thomas, H., Feng, A., and Hou, Y., et al, 2022. STPLS3D: A large-scale synthetic and real aerial photogrammetry 3D point cloud dataset. arXiv preprint arXiv:2203.09065. https://doi.org/10.48550/arXiv.2203.09065
  2. Cho, S., and Chung, W., 2024. Vehicle localization using crowdsourced data collected on urban roads. Sensors, 24(17), 5531. https://doi.org/10.3390/s24175531
  3. Choi, K., 2022. Defining quality factors and criteria on crowd-sourced aerial view images. Journal of Korean Society for Geospatial Information Science, 30(4), 129-138. https://doi.org/10.7319/kogsis.2022.30.4.129
  4. Ester, M., Kriegel, H. P., Sander, J., and Xu, X., 1996. A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the 1996 Second International Conference on Knowledge Discovery and Data Mining (KDD-96), Portland, OR, USA, Aug. 2-4, pp. 226-231.
  5. Jung, Y., Lim, E., Suk, J., Koo, S., and Kim, S., 2023. Utilization of drone LiDAR for field investigation of facility collapse accident. Korean Journal of Remote Sensing, 39(5-2), 849-858. https://doi.org/10.7780/kjrs.2023.39.5.2.9
  6. Kim, K., Cho, S., and Chung, W., 2021. HD map update for autonomous driving with crowdsourced data. IEEE Robotics and Automation Letters, 6(2), 1895-1901. https://doi.org/10.1109/LRA.2021.3060406
  7. Ko, C. U., Yim, J. S., Kim, D. G., and Kang, J. T., 2021. Analysis of optimal pathways for terrestrial LiDAR scanning for the establishment of digital inventory of forest resources. Korean Journal of Remote Sensing, 37(2), 245-256. https://doi.org/10.7780/kjrs.2021.37.2.6
  8. Le, M. H., Cheng, C. H., and Liu, D. G., 2023. An efficient adaptive noise removal filter on range images for LiDAR point clouds. Electronics, 12(9), 2150. https://doi.org/10.3390/electronics12092150
  9. Lee, D., and Choi, K., 2023. Automatic validation of the geometric quality of crowdsourcing drone imagery. Korean Journal of Remote Sensing, 39(5-1), 577-587. https://doi.org/10.7780/kjrs.2023.39.5.1.9
  10. Sotoodeh, S., 2006. Outlier detection in laser scanner point clouds. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 36(5), 297-302. https://doi.org/10.3929/ethz-b-000037220
  11. Thomas, H., Qi, C. R., Deschaud, J. E., Marcotegui, B., Goulette, F., and Guibas, L. J., 2019. KPConv: Flexible and deformable convolution for point clouds. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea, Oct. 27-Nov. 2, pp. 6411-6420.
  12. UrbanARK, 2022. UrbanARK and coastal flooding. Available online: https://www.urbanark-project.org (accessed on Oct. 15, 2024)
  13. Wang, R., Peethambaran, J., and Chen, D., 2018. LiDAR point clouds to 3-D urban models: A review. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(2), 606-627. https://doi.org/10.1109/JSTARS.2017.2781132
  14. Yastikli, N., and Cetin, Z., 2016. Classification of LiDAR data with point based classification methods. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLI-B3, 441-445. https://doi.org/10.5194/isprs-archives-XLIB3-441-2016
KSRS
December 2024 Vol. 40, No.6, pp. 1005-989

Metrics

Share

  • line

Related Articles

Korean Journal of Remote Sensing