没有合适的资源?快使用搜索试试~ 我知道了~
机器学习算法与Python实践

温馨提示
机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python,然后也想对一些机器学习算法加深下了解,所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍,所以就参考这本书的过程来学习了
资源推荐
资源详情
资源评论






























机器学习算法与 Python 实践:k 近邻(KNN)
机器学习算法与 Python 实践这个系列主要是参考《机器学习实
战》这本书。因为自己想学习 Python,然后也想对一些机器学习算法
加深下了解,所以就想通过 Python 来实现几个比较常用的机器学习算
法。恰好遇见这本同样定位的书籍,所以就参考这本书的过程来学习
了。
一、kNN 算法分析
K 最近邻(k-Nearest Neighbor,KNN)分类算法可以说是最简单
的机器学习算法了。它采用测量不同特征值之间的距离方法进行分类。
它的思想很简单:如果一个样本在特征空间中的 k 个最相似(即特征
空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于
这个类别。
比如上面这个图,我们有两类数据,分别是蓝色方块和红色三角
形,他们分布在一个上图的二维中间中。那么假如我们有一个绿色圆

圈这个数据,需要判断这个数据是属于蓝色方块这一类,还是与红色
三角形同类。怎么做呢?我们先把离这个绿色圆圈最近的几个点找到,
因为我们觉得离绿色圆圈最近的才对它的类别有判断的帮助。那到底
要用多少个来判断呢?这个个数就是 k 了。如果 k=3,就表示我们选择
离绿色圆圈最近的 3 个点来判断,由于红色三角形所占比例为 2/3,所
以我们认为绿色圆是和红色三角形同类。如果 k=5,由于蓝色四方形
比例为 3/5,因此绿色圆被赋予蓝色四方形类。从这里可以看到,k 的
值还是很重要的。
KNN 算法中,所选择的邻居都是已经正确分类的对象。该方法在
定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本
所属的类别。由于 KNN 方法主要靠周围有限的邻近的样本,而不是靠
判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多
的待分样本集来说,KNN 方法较其他方法更为适合。
该算法在分类时有个主要的不足是,当样本不平衡时,如一个类
的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个
新样本时,该样本的 K 个邻居中大容量类的样本占多数。因此可以采
用权值的方法(和该样本距离小的邻居权值大)来改进。该方法的另
一个不足之处是计算量较大,因为对每一个待分类的文本都要计算它
到全体已知样本的距离,才能求得它的 K 个最近邻点。目前常用的解
决方法是事先对已知样本点进行剪辑,事先去除对分类作用不大的样
本。该算法比较适用于样本容量比较大的类域的自动分类,而那些样

本容量较小的类域采用这种算法比较容易产生误分[参考机器学习十大
算法]。
总的来说就是我们已经存在了一个带标签的数据库,然后输入没
有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征
进行比较,然后算法提取样本集中特征最相似(最近邻)的分类标签。
一般来说,只选择样本数据库中前 k 个最相似的数据。最后,选择 k
个最相似数据中出现次数最多的分类。其算法描述如下:
1)计算已知类别数据集中的点与当前点之间的距离;
2)按照距离递增次序排序;
3)选取与当前点距离最小的 k 个点;
4)确定前 k 个点所在类别的出现频率;
5)返回前 k 个点出现频率最高的类别作为当前点的预测分类。
二、Python 实现
2.1、kNN 基础实践
一般实现一个算法后,我们需要先用一个很小的数据库来测试它
的正确性,否则一下子给个大数据给它,它也很难消化,而且还不利
于我们分析代码的有效性。
剩余10页未读,继续阅读
资源评论

- 毅往直前5282022-01-03文档打不开,损坏了。不用下载了,别浪费下载机会了

weixin_42627083
- 粉丝: 0
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 高中信息化班级管理策略探讨.docx
- 一种基本IEEE802.15.4无线智能化传感器网络实现探讨.docx
- 基于云计算的网络安防技术研究.docx
- GSM网络底噪问题处理研究分析.doc
- 2017年专业技术人员继续《网络效应》题库.doc
- IM即时通信项目技术实施方案.docx
- 新形势下工业大数据发展及建议.docx
- 电子商务中最优网络拍卖方案-精品文案范文.doc
- 联通IDC云计算产品介绍.ppt
- 项目管理过程之质量管理.docx
- 单片机的红外遥控开关方案设计课程方案设计.doc
- 电网信息化业务运行监控存在的问题及对策.docx
- 楼宇自动化系统安装与调试.doc
- 如果AutoCAD程序出现故障.doc
- 基于SpringSpringMVCMyBatisVue3x技术栈开发的健身房俱乐部会员管理系统-包含会员注册登录-课程预约-私教管理-健身器材管理-会员卡管理-体测数据记录.zip
- (大学设计)频域图像增强算法研究.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制
