Principal Component Analysis (PCA) 概念與實作

What I cannot create, I do not understand. - Feynman

今天來把PCA的概念解說一下，作為個人筆記也算是學習心得。

PCA簡單而言就是降維，但是今天在DLCV中經過教授指導悟出了道理。

假設今天有一筆10組的2維數據(下)，繪圖於下。

x	y
1.120807	2.114204
3.418011	7.304538
3.207691	11.59131
2.491885	4.777338
2.46251	11.28189
3.197096	6.709331
1.487155	7.393475
3.849686	5.302934
2.044592	7.59712
2.628608	2.454474
2.378373	6.41258

 

最簡單的降維就是用一組平均來代表這10個數據

2.571492

6.630836

所以可以獲得每個數據與平均的距離。

因此x0 = x_mu + x0', y0 = y_mu+y0' .....

當降維為1維時，可以想像成就是降成x軸的維度。

所以將x_mu, y_mu + x軸方向的差異

獲得以下的1維還原數據

若再加上y軸的差異還原就會回到原始數據組。

而PCA呢，利用了eigenvector 去找數據組中更好的basis做為新的軸。