[인공지능] PCA 주성분 분석

 

 

차원(Dimension) 이란?  

차원은 데이터의 특성(Feature)를 표현하는 정보량, 즉 데이터 공간의 크기를 의미한다. 

차원이 클수록 데이터를 더 잘 표현할 수 있지만, 차원이 너무 커지게 된다면 아래와 같은 문제가 생길 수 있다. 

 

동일한 데이터를 다른 크기의 차원에서 표현했을 때의 모습 출처: https://cofactorgenomics.com/curse-of-dimensionality-wk-16/

 

차원이 너무 커질 경우 -> 차원의 저주(Curse of dimensionality) 

1) 데이터 내 노이즈가 증가하고, 과적합(Overfitting)이 될 확률이 커진다. 

* 노이즈란? 데이터 사이에 있는 빈 공간을 의미. 

2) 계산량이 커지게 되고, 모델을 훈련하고 예측하는 데 시간이 길어진다. 

3) 차원이 많아짐에 따라, 잘 학습하기 위해 필요한 데이터양이 증가한다. 

 

여기 고양이 사진을 우리가 분석할 수 있는 형태로 만든다고 해보자. 

사진의 높이가 3120, 너비가 4160 인 이미지를 가지고 분석한다고 하면, 

실제로는 3120X4160X3(RGB) 의 차원이 생기게 될 것이다. 어마어마한 숫자가 된다. 

 

고양이가 너무 귀엽다.. 출처: https://dataknowsall.com/blog/imagepca.html

 

차원 축소 (Dimension Reduction)

 

차원 축소 소개

고차원 공간의 데이터를 낮은 차원의 데이터로 변환하여 원본 데이터의 의미있는 속성을 잘 표현해줄 수 있어야 된다. 

https://www.geeksforgeeks.org/dimensionality-reduction/

 

 

반대로 비선형적인 문제를 해결하기 위해 차원을 증가하는 방법도 있다. 대표적으로는 SVM. 

https://www.linkedin.com/pulse/role-svm-model-current-data-science-deepak-kumar/

 

다시 차원 축소로 돌아가서, 모든 특징을 살릴 수는 없어도 최대한 의미있는 특징을 가진 채로 차원을 낮춰주기 위해서 다양한 방법이 사용되고 있다. 

 

1) 주성분 분석(PCA)

2) 선형 판별 분석(LDA) 

3) 일반 판별 분석(GDA) 

 

이 중 하나인 주성분분석 알고리즘에 대해 알아볼 예정이다. 

주성분 분석(PCA, Principal Component Analysis) 

PCA는 대표적인 차원 축소에 쓰이는 기법으로 머신러닝 뿐 아니라 데이터 마이닝, 통계분석 등 다양한 분야에서 쓰이고 있다. 

 

 

이 방법은 고차원 공간의 데이터가 저차원 공간의 데이터와 매핑되는 동안, 저차원 공간의 데이터의 분산이 최대가 되어야 한다는 조건에서 작동한다. (칼 피어슨)  즉, 전체 데이터의 분포를 잘 대표할 수 있는 차원을 선정하는 알고리즘. 

https://www.geeksforgeeks.org/dimensionality-reduction/

 

 

실제로 PCA 알고리즘을 사용해보자. 

아래 그림과 같은 표의 데이터가 존재할 때, 2차원 평면상에 나타내면 오른쪽 그래프가 될 것이다. 

 

출처 https://ddongwon.tistory.com/114

 

이제 PCA를 이용하여 2차원 데이터를 1차원으로 낮춰보자. 

 

 

1) 각 축에 대한 평균값을 구하여, 평균값이 원점이 되도록 Shift 한다. 

 

2) 데이터에서 원점을 지나는 직선을 임의로 그리고 각 데이터마다 수선의 발을 내리고, 원점으로부터 수선의 발까지의 거리를 측정한다. 

3) 모든 데이터들로부터 계산을 했을 때 거리가 최대가 되는 직선을 찾는다. 주성분 분석은 분산이 최대가 되는 차원을 찾아야한다. 

 

 

4) 찾은 직선을 PC1로 설정하고 PC2 에 직교하는 직선을 PC2로 설정한다. N차원의 데이터는 N개의 PC선이 나오게 된다. 

 

 

5) 회전시킨 뒤, 다시 모든 데이터들로부터 계산을 했을 때 거리가 최대가 되는 직선을 찾는다. 

이때 PC1: PC2의 비율이 85:15 라고 하면 PC1은 85% 정도 데이터를 잘 표현한다고 할 수 있다.

 

6) 가장 잘 대표할 수 있는 축을 선정하여 데이터 차원을 축소해본다. 

요약

다차원의 데이터 분포를 가장 잘 설명해주는 특성을 찾아야 하는 것이 PCA의 주안점이다. 

즉, 데이터 공간상에서 데이터의 분산을 잘 보존해주는 축을 찾아서 차원을 축소한다. 

 

 

 

 

---

마치며 

 

 

오늘도 읽어주셔서 감사합니다. 

 

궁금하거나 나누고 싶은 얘기가 있으시면 댓글로 알려주세요!

재밌게 읽으셨다면 공감과 구독은 큰 힘이 됩니다. 

 

항상 감사합니다.

 

 

참고: 

 

What Is the Curse of Dimensionality?