h__ang的博客

在之前的八讲中我们主要学习了一些具体的算法，但当我们之前学习的算法在实际问题中表现不出理想的效果时，我们接下来应该怎么做？接下来的三讲中我们学习到的主要内容是学习理论，它将会帮助我们找到上面问题的答案。本篇笔记对应的是机器学习公开课的第九讲，主要内容包括偏差与方差（Bias/Variance）、经验风险最小化(Empirical Risk Minimization,ERM)、联合界（Union ...

代码实现牛顿法的代码实现：# 定义h函数def h(x1, x2): h = theta[0]+theta[1]*x1+theta[2]*x2 return 1/(1+math.exp(-h))# 定义迭代次数cnt = 0# 定义f函数def f(x1,x2): h = theta[0]+theta[1]*x1+theta[2]*x2 return...

代码实现局部加权回归的代码实现：# 定义h函数def h(x): return theta[0]+theta[1]*x# 定义w函数进行指数运算def w(xi, x_pre, sigma): num = -(xi-x_pre)**2/(2*(sigma**2)) return math.exp(num)def non_parameter(x, y, x_p...

这个系列的公开课看了有段时间了，原来也想着一直记录下去，还是懒病的问题；中间停了这么长时间，最近又想着复习一下，就写点随笔。最前方关于Ng介绍机器学习的相关概念部分的几张截图，我用了张雨石大佬公开课笔记的截图(实在是懒的不想打字了)，在这里我要感谢张雨石大佬！话不多说，直接进入正题！附录证明代码实现批量梯度下降算法：import matplotlib.pyplot as pltim...

在学习完SVM之后，我体会到SVM确实是一个很好的算法，首先它是我学习到的第二个非线性分类器，在之前的229课程中，我们知道核函数以及软间隔的引入成功地帮助我们可以用SVM解决线性不可分的问题。我们学习了不少二分类的分类器，比如SVM、逻辑斯蒂回归等，这些算法在解决二分类问题时很有用，但我们日常碰到的问题往往有多个类别，这个时候我们显得举足无措，所以我在这里想谈的是如何将二分类算法应用到多分类问题...

K—近邻算法（KNN）是一种基本的分类与回归算法，同时学习斯坦福231课程的中接触到的第一个图像分类算法，当然了它不仅可以应用在图像分类领域，在文本分类等方面同样也可以使用它。一：数据驱动方法我们知道传统的机器视觉算法依靠对所要识别的物体进行特征描述，即指定具体的规则来完成对图片的分类，这个有很大的局限性，随着计算机计算能力的提高以及深度学习领域一些重要技术的突破，基于深度学习的计算机视觉算法...

python代码实现(带有核函数的二分类非线性分类器)：import numpy as npimport randomimport matplotlib.pyplot as plt# 核函数def keanel_func(X, A, kTup): m, n = np.shape(X) K = np.mat(np.zeros((m, 1))) if(kTup[0...

机器学习公开课第六讲这篇笔记对应的是公开课视频的第六个，Ng原来的视频中讲到了多项式事件模型(Multivariate Event Model)、神经网络模型和支持向量机(SVM)的一些概念。由于视频比较老，Ng在这里对神经网络模型的介绍并不详细，我参考Ng最新的视频重点介绍神经网络模型，同时将支持向量机放在下一节中作为一个完整的算法展开介绍。神经网络模型（2-5-3-1网络结构实现二分类问题...

开篇自研究生入学也有近两个月的时间了，从开始接触机器学习到现在学到了一些东西，就想通过博客的方式写下来，便于自己以后翻阅或者有看到这篇博客的志同道合的朋友一起探讨学习。我写的内容基本都是Ng公开课上的东西，然后外加一些自己的思考，同时我觉得机器学习的学习过程不能只看理论推导，所以我会本着学习一个算法就用python实现一个算法的形式呈现自己的理解。主要参考资料：（1）Ng机器学习公开课229...

机器学习公开课第五讲这篇笔记对应的是公开课视频的第五个，讲到的内容有生成学习算法(generative learning algorithm)、高斯判别分析法(Gaussian Discriminant Analysis)、朴素贝叶斯(naive Bayes)和拉普拉斯平滑(Laplace Smoothing).算法实现（python代码）：import xlrdimport numpy ...