支持向量机(SVM)算法

  • O4_911036
    了解作者
  • 9.1KB
    文件大小
  • rar
    文件格式
  • 0
    收藏次数
  • VIP专享
    资源类型
  • 0
    下载次数
  • 2022-04-30 05:49
    上传日期
支持向量机(SVM)算法
支持向量机(SVM)算法课件.rar
  • 5.1 支持向量机(SVM)算法(上)应用.html
    3.6KB
  • 5.3 支持向量机(SVM)算法(下)应用.html
    6.7KB
  • 5.2 支持向量机(SVM)算法(下).html
    10.9KB
  • 5.1 支持向量机(SVM)算法(上).html
    11.6KB
内容介绍
<html> <head> <title>Evernote Export</title> <basefont face="Tahoma" size="2" /> <meta http-equiv="Content-Type" content="text/html;charset=utf-8" /> <meta name="exporter-version" content="Evernote Windows/274061; Windows/6.1.7601 Service Pack 1;"/> <style> body, td { font-family: Tahoma; font-size: 10pt; } </style> </head> <body> <a name="2160"/ rel='nofollow' onclick='return false;'> <div> <div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"> 1. 背景: <div><br/></div><div>     1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出</div><div>     1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出,并在1995年发表</div><div>     1.3 深度学习(2012)出现之前,SVM被认为机器学习中近十几年来最成功,表现最好的算法</div><div><br/></div><div>2. 机器学习的一般框架:</div><div>     训练集 =&gt; 提取特征向量 =&gt; 结合一定的算法(分类器:比如决策树,KNN)=&gt;得到结果</div><div><br/></div><div>3. 介绍:</div><div>          </div><div>     3.1 例子:</div><div><br/></div><div>      </div><div><br/></div><div>          两类?哪条线最好?</div><div>          </div><div><br/></div><div>          3.2 SVM寻找区分两类的超平面(hyper plane), 使边际(margin)最大</div><div><br/></div><div>          </div><div><br/></div><div>               总共可以有多少个可能的超平面?无数条</div><div>               </div><div>               如何选取使边际(margin)最大的超平面 (Max Margin Hyperplane)?</div><div><br/></div><div>               超平面到一侧最近点的距离等于到另一侧最近点的距离,两侧的两个超平面平行</div><div><br/></div><div><br/></div><div><br/></div><div>3. 线性可区分(linear separable) 和 线性不可区分 (linear inseparable) </div><div><br/></div><div><br/></div><div><br/></div><div></div><div><br/></div><div><br/></div><div><br/></div><div>4. 定义与公式建立</div><div><br/></div><div>          超平面可以定义为:</div><div>          </div><div>               W: weight vectot,   , n 是特征值的个数</div><div>               X: 训练实例</div><div>               b: bias</div><div><br/></div><div>          </div><div>          4.1 假设2维特征向量:X = (x1, X2)</div><div>                把 b 想象为额外的 wight</div><div>                超平面方程变为: </div><div><br/></div><div>                所有超平面右上方的点满足:</div><div>                所有超平面左下方的点满足: </div><div><br/></div><div>               </div><div>                    调整weight,使超平面定义边际的两边:</div><div><br/></div><div>               </div><div>     </div><div>                  综合以上两式,得到: (1)</div><div>                             </div><div><br/></div><div>                  所有坐落在边际的两边的的超平面上的被称作”支持向量(support vectors)&quot;</div><div><br/></div><div>                  分界的超平面和H1或H2上任意一点的距离为   (i.e.: 其中||W||是向量的范数(norm))</div><div>                   </div><div>                   </div><div>               </div><div>                  所以,最大边际距离为: </div><div>                        </div><div>                   </div><div>5. 求解</div><div><br/></div><div>     5.1  SVM如何找出最大边际的超平面呢(MMH)?</div><div>                           </div><div>              利用一些数学推倒,以上公式 (1)可变为有限制的凸优化问题(convex quadratic optimization)</div><div>               利用 Karush-Kuhn-Tucker (KKT)条件和拉格朗日公式,可以推出MMH可以被表示为以下“决定边     </div><div>               界 (decision boundary)”          </div><div>                                                  </div><div>               其中,</div><div>               </div><div>                    <img alt="{y_i}" longdesc="http://docs.google.com/MathType!MTEF!2!1!+-feaagKart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbWexLMBbXgBd9gzLbvyNv2CaeHbl7mZLdGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq-Jc9vqaqpepm0xbba9pwe9Q8fs0-yqaqpepae9pg0FirpepeKkFr0xfr-xfr-xb9adbaqaaeGaciGaaiaabeqaamaabaabauaakeaacaWG5bWaaSbaaSqaaiaadMgaaeqaaaaa!4139!" src="http://chart.apis.google.com/chart?cht=tx&amp;chs=1x0&amp;chf=bg,s,FFFFFF00&amp;chco=000000&amp;chl=%7By_i%7D" style="cursor: default;cursor: default;"></img> 是支持向量点<img alt="{X_i}" longdesc="http://docs.google.com/MathType!MT
评论
    相关推荐