求数据的前n个主成分

求出第一个主成分以后，如何求出下一个主成分呢？

• 将数据进行改变，将数据在第一个主成分上的分量去掉。

$X^{'(i)}$ 是X中去除第一个主成分上的分量之后剩下的结果。 求下一个主成分 - 将第一个主成分上的分量去掉，在新的数据上求第一个主成分

    def first_n_components(n, X, eta = 0.001, n_iters=1e4, epsilon=1e-8):

        def first_component(X, initial_w, eta=0.001, n_iters=1e4, epsilon=1e-8):
            def f(X, w):
                return np.sum(X.dot(w) ** 2) / len(X)

            def df(X, w):
                return X.T.dot(X.dot(w)) * 2 / len(X)

            def direction(w):  # 求单位向量
                return w / np.linalg.norm(w)

            w = direction(initial_w)
            i_iter = 0

            while (i_iter < n_iters):
                last_w = w
                gradient = df(X, w)
                w = w + eta * gradient
                w = direction(w)
                if np.abs(f(X, w) - f(X, last_w)) < epsilon:
                    break
                i_iter += 1
            return w

        def demean(X):  # 需要对原始数据做demean处理 - 归零
            return X - np.mean(X, axis=0)

        X_pca = X.copy()
        res = []
        X_pca = demean(X_pca)
        for i in range(n):
            initial_w = np.random.random(X_pca.shape[1])
            w = first_component(X_pca, initial_w)
            res.append(w)
            X_pca = X_pca - (X_pca.dot(w)).reshape(-1, 1) * w

        return res

向量化运算 - 将原样本减去映射到w方向上的分量

X2 = np.empty(X.shape)
#for i in range(len(X)):
#    X2[i] = X[i] - X[i].dot(w)*w #点乘得到向量的模，然后再乘上单位向量得到X[i]在w方向上的分量。 
X2 = X - (X.dot(w)).reshape(-1, 1)*w #X.dot(w)得到一个向量，将向量转换为m*1维的矩阵，然后于w相乘，就是把模乘上单位向量，得到每个样本在这个单位向量上的分量。 

测试代码：

import numpy as np
import matplotlib.pyplot as plt
import sys
sys.path.append(r'C:\\N-20KEPC0Y7KFA-Data\\junhuawa\\Documents\\00-Play-with-ML-in-Python\\Jupyter')
import playML
from playML.pca import PCA
pca = PCA()
X = np.empty((100, 2))
X[:, 0] = np.random.uniform(0, 100, size=100)
X[:, 1] = 0.75*X[:, 0] + 3.0 + np.random.normal(0, 10, size=100)
w = PCA.first_n_components(2, X)
w
w[0].dot(w[1]) # 单位向量正交，点积为0

结果：
[array([0.7694744 , 0.63867765]), array([ 0.63870067, -0.7694553 ])]
2.991102889515762e-05