Coursera台大机器学习技法课程笔记05-Kernel Logistic Regression

      这一节主要讲的是如何将Kernel trick 用到 logistic regression上。

     从另一个角度来看soft-margin SVM,将其与 logistic regression进行对比,发现可将

SVM看作一个正则化模型:

      

      

     将SVM看作一个regularize model,是为了更好的延伸到其他模型上。

     下面从erro measure的角度来分析二者相似性:

      

     再从binary classfication的角度来比对:做了一个LogReg就相当于做了SVM,那SVM的结果能否用到LogReg上呢?

     

    能否将SVM与LogReg进行融合呢?

   

   先由SVM跑出一个分数,然后引入两个变量将其引入到LogReg:

    

   更具体:

   

   上面得到的是在Z空间的近似解,如果想要得到一个准确解呢?

   回想之前能用kernel trick的关键,是因为w能表示成z的线性组合。那能否推广这个结论呢?

  

   用反证法对这个想法进行了证明:任何 L2-regularized都能被kernelized

   

   将kernel用到logistic regression上:

  

 另一个角度看 logistic regression:

 

      参考:http://www.cnblogs.com/xbf9xbf/p/4633775.html

原文地址:https://www.cnblogs.com/573177885qq/p/4667756.html