博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
机器学习基石(7)--The VC Dimension
阅读量:5304 次
发布时间:2019-06-14

本文共 787 字,大约阅读时间需要 2 分钟。

通过上节所学,有如下总结,从而大大的简化了成长函数。

在VC Bond理论中,可以有如下的替换:

由此得出可以让机器学习有效果的几个条件:

1.mH(N)在k有break point

2.N足够大

3.可以算出使得Ein最小的g

 

VC Dimension is the formal name of maximum non-break point.

如果VC Dimension是有限的,那么机器学习就是可行的。(Ein和Eout是接近的)

从VC Dimension的角度重新审视2D PLA:

而在多维度的情况下,可以证明dvc=d+1.

VC Dimension的物理意义:二元分类的情况下,到底有多少的自由度,也就是多我们可以自由选择我们想要的hypothesis的程度。

M和dvc的关系:

dvc可以替代M做类似上图的trade off。

根据霍夫丁不等式,BAD事件发生的概率经过dvc的替换之后:

而好事件发生的概率就是1–P(BAD):

可以推导出出Eout被限制在了一个区间内。不等式右边的部分表示了Eout的上限(最坏的时候)是什么。Ein加上的那一部分就是从样本内到样本外所付出的代价。

The VC Message:很高的模型复杂度是有代价的,虽然Ein很好看,但是Eout不一定很好看。

VC Bound Rephrase: Sample Complexity:样本总量N和dvc是有关系的。

Losseness of VC Bound:VC Bound的限制条件很少。

对于机器学习的应用拓展来说,VC Bound的哲学意义比实际意义更大。

shatter的意义是N个点所有可能的分类情况都被hypothesis set考虑到了。

总结:

转载于:https://www.cnblogs.com/cyoutetsu/p/5912739.html

你可能感兴趣的文章
Atiti.大企业病与小企业病 大公司病与小公司病
查看>>
处理器管理与进程调度
查看>>
解决随机数生成的坐标在对角线上的问题
查看>>
服务器ganglia安装
查看>>
HashMap的存储结构及原理
查看>>
在线即时展现 Html、JS、CSS 编辑工具 - JSFiddle
查看>>
veridata实验例(3)验证veridata发现insert操作不会导致同步
查看>>
django数据库交互
查看>>
【转载】SQL注入攻防入门详解
查看>>
图说二叉树添加数据原理以及遍历原理
查看>>
NTC(负温度)热敏电阻.阻值的计算方式
查看>>
ps aux 状态介绍
查看>>
二级指针内存模型
查看>>
bzoj千题计划140:bzoj4519: [Cqoi2016]不同的最小割
查看>>
【Scala】Scala之Packaging and Imports
查看>>
【译】Java编程动态性,第 2部分: 反射简介
查看>>
png8、16、24、32位的区别
查看>>
使用input range滑块,控制元素transform rotate旋转样式
查看>>
vue.js 配置axios 用来ajax请求数据
查看>>
Delphi基础语法
查看>>