• 欢迎浏览“String me = Creater\忠实的资深Linux玩家;”,请文明浏览,理性发言,有侵犯你的权益请邮件我(creater@vip.qq.com).
  • 把任何的失败都当作一次尝试,不要自卑;把所有的成功都想成是一种幸运,不要自傲。
  •    1年前 (2017-10-14)  模式识别&机器学习 |   抢沙发  52 
    文章评分 0 次,平均分 0.0

    文献:http://ufldl.stanford.edu/wiki/index.php/Exercise:PCA_and_Whitening

    (一):数据准备

    UFLDL下载的文件中,包含数据集IMAGES_RAW,它是一个512*512*10的矩阵,也就是10幅512*512的图像,可以看下其中的第二幅,使用extract_show函数。

    function extract_show(IMAGESr, index)
    %load IMAGES_RAW;
    IMAGES_ = IMAGESr;
    imshow(IMAGES_(:,:,index));
    

    PCA and Whitening

    (1)载入数据

    利用sampleIMAGESRAW函数,从IMAGES_RAW中提取numPatches个图像块,每个图像块大小为patchSize,并将提取到的图像块按列存放,分别存放在在矩阵patches的每一列中,即patches(:,i)存放的是第i个图像块儿的所有像素值。如下为产生的原始图像部分。
    PCA and Whitening

    (2)数据去均值化处理

    将每一个图像块儿的所有像素值都减去该图像块儿的平均像素值,实现数据的去均值化。
    这里要注意一下第三行。理论上应该使用第二行做均值归0,但是图像每个像素点之间是很相关的。

    [dim,sampleN] = size(x);%维数与样本数
    %x = x - repmat(mean(x,2),1,sampleN);%标准PCA均值归0
    x = x - repmat(mean(x,1),dim,1);

    PCA and Whitening

    (二)PCA处理

    该部分分为两部分:

    (1)进行PCA计算

    这里仅仅对数据x进行旋转得到xrot,而不进行主成分的提取,具体地:
    ①计算数据x的协方差矩阵sigma
    ②对sigma进行特征分解,利用matlab的eig函数,从而得到sigma的特征向量构成的矩阵U

    [U,S,V]=eig(sigma);

    U=[u1,...,ui,...,un],它的每一列分别是sigma的特征向量,n是输入数据的特征维数,S=diag([λ1,...λi,...,λn])是由sigma的特征值作为对角元素的对角阵,ui和λi相对应,为了后续的计算,这里要将U的各列次序进行调换,使得调换后的各列所对应的特征值大小依次递减,调换后的矩阵仍记作U,相应的特征值对角阵仍即为S,即:

    U=[u1,...,ui,...,un],S=diag([λ1,...λi,...,λn])

    满足:

    λ1>=...>=λi>=...>=λn

    ③利用矩阵U对数据x进行旋转,得到xrot,即

    xrot=U‘*x

    完整代码如下:

    xRot = zeros(size(x)); % You need to compute this 144 * 10000
    S = x*x'/sampleN; %协方差矩阵
    [U,D] = eig(S); %特征向量与特征值
    U = fliplr(U);%U为列特征向量,D为特征值对角阵
    D = fliplr(fliplr(D)'); %按照特征值由大到小排列
    xRot = U'*x;

    旋转变换后图为
    PCA and Whitening

    (2)对旋转后的数据求解协方差矩阵covar

    将协方差矩阵可视化,观察得到的选择后的数据是否正确。PCA保证选择后的数据的协方差矩阵是一个对角阵,如果covar是正确的,那么它的图像应该是一个蓝色背景,并且在对角线位置有一斜线。这里显示协方差矩阵covar利用了matlab的imagesc,imagesc(covar)的作用是:把矩阵covar以图像形式显示出来,矩阵中不同的数值会被赋予不同的颜色,得到的协方差矩阵的图像如下:可以看到,图像除了对角线位置外,其余部分颜色都相同。

    covar = zeros(size(x, 1)); % You need to compute this
    % Visualise the covariance matrix. You should see a line across the
    % diagonal against a blue background.
    covar = xRot*xRot';%获得变换后数据的协方差矩阵

    PCA and Whitening

    (三)获取满足条件的主成分

    本部分,找到满足条件的主成分的个数k,也就是找到最小的k值,使得(λ1+...+ λk)/(λ1+...+ λn)>某个百分数,如99%

    k = 0; % Set k accordingly
    var_total = sum(D(:))               %总方差
    var_cur = 0;                        %方差计数
    for k = 1:dim
        var_cur = var_cur + D(k,k);     %累计
        if (var_cur / var_total) > 0.90 %如果能量已>90%,则跳出for语句
            break;
        end
    end

    (四)利用找到的主成分个数,对数据进行降维

    在第三步,已经找到了数字k,也就是,保留数据的k个主成分就满足了要求。在该步,将对数据x进行降维,只留下k个主成分。同时,为了观察降维后的数据的好坏,在利用U(:,k)将降维后的数据变换会原来的维数,也就是得到了原数据的近似恢复数据。并利用网格将恢复出的图像显示出,与原图像进行比较,下面第一幅图是由降维后的图像恢复出的原数据,下图是相应的原数据,可以发现,降维后的数据基本可以恢复出于原数据非常相近的数据。

    xHat = zeros(size(x));  % You need to compute this
    U_reduce = zeros(dim);          %初始化
    U_reduce(:, 1:k) = U(:, 1:k);   %去掉特征值小的特征向量(降维)
    y = U_reduce'*x;                %变换
    xHat = U_reduce*y;              %反变换回来
    
    % Visualise the data, and compare it to the raw data
    % You should observe that the raw and processed data are of comparable quality.
    % For comparison, you may wish to generate a PCA reduced image which
    % retains only 90% of the variance.
    
    figure('name',['#5 PCA processed images ',sprintf('(%d / %d dimensions)', k, size(x, 1)),'']);
    display_network(xHat(:,randsel));
    figure('name','Raw images');
    display_network(x(:,randsel));

    PCA and Whitening
    PCA and Whitening
    假如保存前90%的能量,PCA可以用44个特征代表144个特征。

    (五)PCA白化+正则化

    该部分分为两步

    (1)执行具有白化和正则化的PCA

    首先,对数据进行旋转(利用特征矩阵U),然后,利用特征值对旋转后的数据进行缩放,实现白化。同时,在利用特征值缩放时,利用参数ε对特征值进行微调,实现正则化。

    epsilon = 0.1;
    xPCAWhite = zeros(size(x));
    
    eig_value = diag(D);                            %特征值
    normalize = sqrt(eig_value+epsilon);            %白化系数
    xPCAWhite = U'*x ./ (normalize*ones(1,sampleN));%白化

    PCA and Whitening

    (2)计算白化后的数据的协方差矩阵,观察该协方差矩阵

    如果加入了正则化项,则该协方差矩阵的对角线元素都小于1,如果没有加入正则项(即仅有旋转+白化),则该协方差矩阵的对角线元素都为1(实际上,是令ε为一个极小的数),下图是白化后数据的协方差矩阵对应的图像,上图是加入正则化后的结果,下图是没有加入正则化后的结果。

    covar = xPCAWhite*xPCAWhite' / sampleN; %协方差矩阵 
    figure('name','Visualisation of covariance matrix');
    imagesc(covar);

    PCA and Whitening

    (六)ZCA白化

    ZCA白化,就是在PCA白化的基础上做了一个旋转,即

    xZCAWhite = zeros(size(x));
    xZCAWhite = U * xPCAWhite;  %ZCA白化 

    PCA and Whitening
    下面的第一幅图是ZCA白化后的结果图,第二幅图是相应的原始图像。可以看到,ZCA白化的结果图似乎是原始图像的边缘。
    PCA and Whitening
    PCA and Whitening

     

    除特别注明外,本站所有文章均为String me = "Creater\忠实的资深Linux玩家";原创,转载请注明出处来自http://unix8.net/home.php/5642.html

    关于

    发表评论

    暂无评论

    切换注册

    登录

    忘记密码 ?

    切换登录

    注册

    扫一扫二维码分享