5.1SVM.rar_SVM_数值算法/人工智能下载-pudn.com

<html> <head> <title>Evernote Export</title> <basefont face="Tahoma" size="2" /> <meta http-equiv="Content-Type" content="text/html;charset=utf-8" /> <meta name="exporter-version" content="Evernote Windows/274061; Windows/6.1.7601 Service Pack 1;"/> <style> body, td { font-family: Tahoma; font-size: 10pt; } </style> </head> <body> <a name="2160"/ rel='nofollow' onclick='return false;'> <div> <div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"> 1. 背景： <div><br/></div><div> 1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出</div><div> 1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，并在1995年发表</div><div> 1.3 深度学习（2012）出现之前，SVM被认为机器学习中近十几年来最成功，表现最好的算法</div><div><br/></div><div>2. 机器学习的一般框架：</div><div> 训练集 => 提取特征向量 => 结合一定的算法（分类器：比如决策树，KNN）=>得到结果</div><div><br/></div><div>3. 介绍：</div><div> </div><div> 3.1 例子：</div><div><br/></div><div> </div><div><br/></div><div> 两类？哪条线最好？</div><div> </div><div><br/></div><div> 3.2 SVM寻找区分两类的超平面（hyper plane), 使边际(margin)最大</div><div><br/></div><div> </div><div><br/></div><div> 总共可以有多少个可能的超平面？无数条</div><div> </div><div> 如何选取使边际(margin)最大的超平面 (Max Margin Hyperplane)？</div><div><br/></div><div> 超平面到一侧最近点的距离等于到另一侧最近点的距离，两侧的两个超平面平行</div><div><br/></div><div><br/></div><div><br/></div><div>3. 线性可区分(linear separable) 和线性不可区分（linear inseparable) </div><div><br/></div><div><br/></div><div><br/></div><div></div><div><br/></div><div><br/></div><div><br/></div><div>4. 定义与公式建立</div><div><br/></div><div> 超平面可以定义为：</div><div> </div><div> W: weight vectot, , n 是特征值的个数</div><div> X: 训练实例</div><div> b: bias</div><div><br/></div><div> </div><div> 4.1 假设2维特征向量：X = (x1, X2)</div><div> 把 b 想象为额外的 wight</div><div> 超平面方程变为： </div><div><br/></div><div> 所有超平面右上方的点满足：</div><div> 所有超平面左下方的点满足： </div><div><br/></div><div> </div><div> 调整weight，使超平面定义边际的两边：</div><div><br/></div><div> </div><div> </div><div> 综合以上两式，得到：（1）</div><div> </div><div><br/></div><div> 所有坐落在边际的两边的的超平面上的被称作”支持向量(support vectors)"</div><div><br/></div><div> 分界的超平面和H1或H2上任意一点的距离为 (i.e.: 其中||W||是向量的范数(norm))</div><div> </div><div> </div><div> </div><div> 所以，最大边际距离为： </div><div> </div><div> </div><div>5. 求解</div><div><br/></div><div> 5.1 SVM如何找出最大边际的超平面呢(MMH)？</div><div> </div><div> 利用一些数学推倒，以上公式（1）可变为有限制的凸优化问题(convex quadratic optimization)</div><div> 利用 Karush-Kuhn-Tucker (KKT)条件和拉格朗日公式，可以推出MMH可以被表示为以下“决定边 </div><div> 界 (decision boundary)” </div><div> </div><div> 其中，</div><div> </div><div> <img alt="{y_i}" longdesc="http://docs.google.com/MathType!MTEF!2!1!+-feaagKart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbWexLMBbXgBd9gzLbvyNv2CaeHbl7mZLdGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq-Jc9vqaqpepm0xbba9pwe9Q8fs0-yqaqpepae9pg0FirpepeKkFr0xfr-xfr-xb9adbaqaaeGaciGaaiaabeqaamaabaabauaakeaacaWG5bWaaSbaaSqaaiaadMgaaeqaaaaa!4139!" src="http://chart.apis.google.com/chart?cht=tx&chs=1x0&chf=bg,s,FFFFFF00&chco=000000&chl=%7By_i%7D" style="cursor: default;cursor: default;"></img> 是支持向量点<img alt="{X_i}" longdesc="http://docs.google.com/MathType!MT