미세먼지는 대기 오염 물질 중 하나로, 입자의 크기에 따라 직경이 10 μm 이하인 PM₁₀와 2.5 μm 이하인 PM_2.5로 구분된다. 이는 사람의 머리카락 직경 (약 60 μm)보다 작아 눈에 보이지 않지만 사회 및 인체에 부정적인 영향을 주고 있다. 특히, 입자가 미세한 PM_2.5는 혈관, 폐포 등 인체의 깊숙한 곳까지 침투할 수 있어 인체에 큰 영향을 미칠 수 있다. Bae (2014)에 의하면 미세먼지 농도의 증가는 심혈관계 초과사망발생위험을 높이며 PM₁₀보다 PM_2.5에 의한 초과사망 발생위험이 다소 높은 것으로 나타났다. 이에 따라 정부는 고농도 PM_2.5가 일정 기간 지속될 경우, 대기질을 개선하기 위해 대기 배출 사업장 및 공사장의 가동시간을 조절하거나 차량의 운행을 제한하는 미세먼지 비상저감조치를 시행하고 있다. 비상저감조치는 당일 평균 PM_2.5 관측 농도와 다음날 예보 농도가 50 μg/m³ 초과인 경우, 당일 주의보 또는 경보가 발령되고 다음날 예보 농도가 50 μg/m³ 초과인 경우, 다음날 예보 농도가 75 μg/m³ 초과인 경우 중 하나라도 해당하면 발령된다. 즉, 비상저감조치는 다음날 예측치를 기준으로 발령되기 때문에 사업장의 불필요한 제한이나 고농도 PM_2.5로 인한 피해를 막기 위해서는 PM_2.5 농도의 정확한 예측이 중요하다. 뿐만 아니라, PM_2.5 농도의 정확한 예측은 야외활동 계획이나 건강을 보호하는 등 PM_2.5로부터 발생하는 피해를 사전에 예방할 수 있도록 국민들에게 정보를 제공할 수 있다.

미세먼지는 발생원에 따라 1차, 2차 미세먼지로 나뉘는데 소각이나 배기가스로 인한 미세먼지 혹은 도로나 공장 등에서 발생하는 먼지가 1차 미세먼지에 속한다. 반면, 2차 미세먼지는 1차 발생원에서 배출된 대기 오염 물질이 대기 중 떠다니는 전구물질과 화학반응을 일으켜 생성되며, 이러한 화학반응에 의해 생성된 2차 생성 미세먼지의 비중이 PM_2.5의 약 2/3를 차지할 만큼 매우 높은 것으로 알려져 있다 (ME, 2016). 미세먼지 생성에 영향을 주는 대기 오염 물질은 관측 자료의 수집이 비교적 쉽고 최근 기계학습 기법이 발전함에 따라 과거 관측 자료를 활용한 기계학습 기반의 미세먼지 등급 또는 농도 예측 연구가 이루어지고 있다 (Kim and Jeong, 2022; Kim and Moon, 2021; Park, 2021).

기계학습 기법의 하나인 앙상블 기법은 여러 모형의 예측을 결합함으로써 보다 나은 예측을 갖도록 하는 방법으로, 여러 모형의 예측을 평균하거나 투표를 통해 최종 예측하며 회귀와 분류 문제에 모두 적용될 수 있다. 또한, 여러 모델의 예측을 결합하기 때문에 예측의 변동을 줄여 모델의 안정성을 높이고 단일 모델에 비해 정확한 예측이 가능하다. 그러나, 입력되는 모델의 다양성으로 인해 결과의 해석이 어렵고, 각 모델의 기여도와 중요성을 파악하기 어려운 측면이 있기 때문에 목적에 맞게 앙상블 모델을 선택하는 것이 중요하다. 앙상블 기법은 크게 Bagging, Boosting, Stacking으로 나뉜다. Bagging (Breiman, 1996)은 여러 개의 부트스트랩 자료를 통해 학습된 여러 단일 모델의 예측을 결합하여 분산을 낮추는 기법으로, Random Forest가 대표적이다. Lee and Lee (2020)는 시간당 PM_2.5 농도를 예측하기 위해 대기 및 기상 관측 시계열 데이터를 전처리하여 Random Forest를 학습한 결과, 시계열 학습에서 강점을 갖는 LSTM 보다도 성능이 우수했으며 예측 결과에 대해 설명 가능한 모델임을 보여주었다. Boosting은 예측력이 약한 모형을 순차적으로 결합하여 강한 모형을 만드는 기법이다. 부트스트랩 샘플을 단일 모델이 독립적으로 학습하는 bagging과 달리, boosting은 이전 모델의 예측 결과를 반영하여 학습 샘플에 가중치를 부여하면서 순차적으로 학습한다. Boosting은 학습 속도가 느리고 노이즈에 민감하지만, 대체로 단일 모델보다 향상된 예측 성능을 갖는다. Park et al. (2021)은 PM₁₀ 및 PM_2.5 농도를 추정하기 위해 Boosting 기반의 대표적인 기법인 Gradient Boosting과 LightGBM을 적용하고 비교 분석하였으며, Kim (2020)은 PM_2.5 등급을 분류하기 위해 eXtreme Gradient Boosting (XGBoost)을 앙상블하여 단일 XGBoost보다 향상된 예측 결과를 보여주었다. Stacking (Wolpert, 1992)은 다양한 종류의 단일 모델의 예측을 결합하는 기법으로, 병렬로 학습한 단일 모델의 예측 값을 메타 모델의 입력 데이터로 학습하여 최종 예측한다. 서로 다른 유형의 모델을 결합하기 때문에 데이터의 다양한 패턴을 학습할 수 있으며 단일 모델과 메타 모델의 다양성으로 인해 확장 가능하다는 특징이 있다. Danesh Yazdi et al. (2020)은 런던 지역의 PM_2.5 농도 예측을 위해 Random Forest, Gradient Boosting Machine, K-nearest neighbor의 예측 결과를 generalized additive model로 결합하였다. Zhai and Chen (2018)은 Lasso, Adaboost, XGBoost, GA-MLP의 예측 결과를 Support Vector Machine으로 결합하여 베이징의 일평균 PM_2.5 농도를 예측한 바 있다.

본 연구는 대기 오염 물질 관측 자료를 활용하여 서울시 중구의 시간당 PM_2.5 농도를 예측하기 위해 Stacking 기법을 적용하고 단일 모델과 예측 성능을 비교 분석하고자 한다. Stacking 기법을 기반으로 PM_2.5 농도를 예측한 선행 연구에 비해 보다 다양한 7가지 단일 모델을 적용하였으며, 이들의 예측을 가중 결합하는 Super Learner를 통해 최종 예측하였다. 2장에는 예측에 사용된 자료와 여러 기계학습 방법들에 대한 간략한 설명 및 이들을 결합한 Super Learner를 설명한다. 3장에서는 방법 간 예측 결과 및 성능을 평가하고 마지막 장에는 결론 및 향후 연구 방향을 제시한다.

본 절에서는 앞서 설명한 기계학습 모델을 적용하고 검증 기간에 대한 예측 성능을 비교하고자 한다. 먼저, 기저 학습기의 최적의 하이퍼 파라미터를 추정하기 위해 GridSearchCV를 적용하였다. GridSearchCV는 cross-validation을 적용해 주어진 하이퍼파라미터의 조합을 고려하여 모델의 성능을 기반으로 최적의 하이퍼파라미터를 찾는 방법이다. 이는 데이터 수와 변수 조합이 많을 경우 많은 시간이 소요되기 때문에 본 연구에서는 표 4에 주어진 것과 같이 기계학습 모델당 최대 2가지 하이퍼파라미터를 고려하여 최적의 값을 찾아 모델을 최적화하였다. 또한, 선형회귀와 Support Vector Machine은 모델의 특성상 음의 예측 값이 발생할 수 있다. 이러한 경우 예측 값을 0으로 처리하였다.

최적화된 모델을 기반으로 Super Learner를 학습하였을 때 추정된 기저 학습기의 가중치는 표 5과 같다. 이는 0의 가중치를 갖는 Support Vector Machine (SVM), K-Nearest Neighbors (KNN), Gradient Boosting (GBM)은 Super Learner의 예측에 전혀 영향을 주지 않았으며, Random Forest (RF) (0.38169), eXtereme Gradient Boosting (XGB) (0.30246), 선형회귀 (LR) (0.29331) 순으로 크게 기여를 하였음을 의미한다.

검증 기간에 대한 예측 성능이 그림 3 및 표 6에 주어져 있으며 그림 3의 점선은 모든 모델들의 평균 성능을 보여준다. 각 성능 지표의 평균값은 MAE가 5.2905 μg/m³, RMSE가 9.8015 μg/m³, R²가 0.6739로 나타났다. 기저 학습기 중 선형회귀 (LR)의 MAE는 6.1703 μg/m³, Support Vector Machine (SVM)의 MAE는 6.6662 μg/m³, K-Nearest Neighbors (KNN)의 MAE는 6.1119 μg/m³로, 평균 MAE (5.2905 μg/m³)에 비해 예측 오차가 다소 크게 나타났다. 특히, 선형회귀 (LR)는 모든 모델 중 RMSE가 17.095 μg/m³로 가장 크고, R²는 0.0881로 가장 작으며 이는 예측 농도가 관측 농도를 제대로 설명하지 못하고 있음을 의미한다. Decision Tree (DT)는 MAE가 5.0715 μg/m³, RMSE가 9.4741 μg/m³, R²가 0.7199로 평균보다 약간 개선된 예측 성능을 갖는다. 반면, 앙상블 기법인 Random Forest (RF), Gradient Boosting (GBM), eXtreme Gradient Boosting (XGB)은 모든 성능 지표에서 평균 이상의 예측 성능을 보이고 있다. 이를 통해 앙상블 기법이 다른 기저 학습기보다 예측이 정확하게 이루어졌음을 알 수 있다. 특히, Super Learner (SL)의 MAE가 4.4653 μg/m³, RMSE가 6.9530 μg/m³로 적용된 모든 모델 중 예측 오차가 가장 작으며 R²는 0.8491로 결정 계수가 가장 큰 것으로 나타났다. 즉, Super Learner는 모든 성능 지표에서 예측 성능이 가장 우수했으며 평균 이상의 성능을 갖는 다른 앙상블 기법에 비해서도 개선된 결과를 보여주고 있다.

Fig. 3. 
Comparisons of MAE, RMSE and R² for the base learners and Super Learner.

검증 기간에 대하여 관측된 PM_2.5 농도와 각 방법의 예측 농도를 비교한 그래프가 그림 4에 주어져 있다. x축과 y축은 각각 관측 농도와 예측 농도를 나타내며 관측 농도와 예측 농도가 일치할수록 관측 농도와 예측 농도들이 45도 직선에 가깝게 위치하게 되고 이것은 예측이 정확하게 이루어졌다고 해석할 수 있다. 선형회귀 (LR)와 Support Vector Machine (SVM) (그림 4(a), (b))은 관측 농도에 비해 크게 예측하는 결과를 보였으며, 특히 선형회귀 (LR)는 고농도 관측치를 최대 500 μg/m³ 이상의 매우 큰 값으로 예측하였다. 한편, K-Nearest Neighbors (KNN) (그림 4(c))은 다른 기저 학습기에 비해 작게 예측하는 경향을 보이고 있다. Decision Tree (DT) (그림 4(d))의 경우 훈련된 트리의 터미널 노드에 따라 예측 값이 생성되기 때문에 예측 값이 다양하지 않으며, 저농도 관측치는 크게 예측하고 고농도 관측치는 작게 예측하는 결과를 보였다. 그 외 앙상블 기법인 Random Forest (RF), Gradient Boosting (GBM), eXtreme Gradient Boosting (XGB) (그림 4(e), (f), (g))은 서로 비슷한 예측 분포를 띠고 있으며, 이들은 공통적으로 고농도 관측치에 대한 정확도가 떨어지는 모습을 보이고 있다. 반면, 기저 학습기들의 예측을 가중 결합한 Super Learner (SL) (그림 4(h))는 다소 크게 예측하는 경우가 존재하지만 대체로 45도 직선 주위에 분포하며 기저 학습기들이 정확하게 예측하지 못한 고농도 관측치에 대해서 가장 정확하게 예측하고 있다.

Fig. 4. 
Scatter plots of the PM_2.5 observations and the predicted PM_2.5 values of each of the seven base learners and the Super Learner.

그림 5는 검증 기간에 대하여 관측된 PM_2.5 농도와 각 방법의 예측 농도를 나타낸 시계열 그래프이다. 대부분의 기저 학습기가 대체로 추세를 잘 따라가고 있지만, 고농도 관측치에 대해 서로 다른 결과를 보였다. 선형회귀 (LR)와 Support Vector Machine (SVM) (그림 5(a), (b))은 2021년 5월에 관측된 170 μg/m³ 이상의 고농도 관측치를 각각 500 μg/m³, 200 μg/m³으로 크게 예측하였다. 그 외 K-Nearest Neighbors (KNN), Decision Tree (DT), Random Forest (RF), Gradient Boosting (GBM), eXtreme Gradient Boosting (XGB) (그림 5(c), (d), (e), (f), (g))의 전체적인 예측 패턴은 선형회귀 (LR) 및 Support Vector Machine (SVM)과 비슷하지만 2021년 5월에 관측된 고농도에 대해서는 약 60 μg/m³ 이하의 값으로 예측하여 상대적으로 과소추정하고 있음을 볼 수 있다. 반면, 기저 학습기들의 예측을 가중 결합한 Super Learner (SL) (그림 5(h))는 2021년 3월 말에 관측된 값에 대해 크게 예측하였으며, 특히 2021년 5월에 발생한 고농도 관측치는 다른 기저 학습기에 비해 매우 유사하게 예측하고 있다. 즉, Super Learner는 다양한 기저 학습기로부터 생성된 예측치들의 가중 결합을 통해 새로운 예측을 제공하기 때문에 안정적이면서 이전에 학습하지 않은 새로운 값에 대해 강력한 예측을 제공하는 모델임을 알 수 있다. 또한, Super Learner를 구성할 때, 비슷한 종류의 기저 학습기보다는 서로 보완할 수 있는 다양한 종류의 알고리즘을 조합하는 것이 중요하다.

Fig. 5. 
Time series plots of the PM_2.5 observations (black lines) and the predicted PM_2.5 values (red lines) from each of the seven base learners and the Super Learner.

본 연구에서는 대기 오염 물질 자료를 기반으로 서울시 중구의 시간당 PM_2.5 농도를 예측하기 위해 여러 가지 기계학습 기법을 적용하고 이들의 예측 성능을 비교하였다. 기계학습 기법으로는 선형회귀, Support Vector Machine, K-Nearest Neighbors, Decision Tree, Random Forest, Gradient Boosting, eXtreme Gradient Boosting를 적용하였으며, 이들을 기저 학습기로 하여 최적의 조합을 찾는 Super Learner를 적용하였다. 추정된 기저 학습기의 가중치에 의하면 Random Forest와 eXtreme Gradient Boosting 및 선형회귀가 Super Learner 예측에 가장 큰 영향을 준 것으로 나타났다. 수집된 데이터 중 2년간의 데이터를 학습하여 이후 1년의 PM_2.5 농도를 예측한 결과, 모든 모델이 추세는 잘 예측하였지만 고농도 관측치에서 서로 다른 결과를 보였다. 기저 학습기 중 선형회귀와 Support Vector Machine은 검증 기간에 존재하는 고농도 관측치를 높게 예측하였으며, 그 외 앙상블 기법은 작게 예측하는 경향을 보였다. 반면, Super Learner는 고농도 관측치를 가장 정확하게 예측하였으며 기저 학습기에 비해 향상된 예측 결과를 보였다.

연구 결과를 통해 단일 모델보다는 앙상블 모델의 예측 성능이 우수함을 확인하였다. 특히, Super Learner는 여러 모델의 예측을 가중 결합함으로써 일반화 능력을 향상시키고 예측 오차를 줄여 기저 학습기보다 예측 성능이 향상된 결과를 보였다. 그러나, Super Learner는 기저 학습기들의 가중 결합으로 이루어지기 때문에 각 기저 학습기의 가중치를 어떻게 결정하는가에 따라 예측력이 달라질 수 있으므로 가중치 추정 방법에 대한 추가적인 연구가 필요하다. 또한, 본 연구에서는 시간당 대기 자료를 독립적인 샘플로 가정하여 분석하였지만 대기 관측 값은 이전 시간의 관측 값이나 지속 시간 등의 영향을 받을 수 있다. 특히, PM_2.5는 대기 오염 물질 뿐만 아니라 풍속, 습도, 강수 등 기상 변수의 영향도 받을 수 있기 때문에 기상 관측 자료와 시간 정보의 활용을 통해 더욱 정확한 예측이 가능할 것으로 보인다.