梯度下降法是一个一阶最优化算法，利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。
向量微积分中,标量场的梯度是一个向量场。[……]
分类： 机器学习
机器学习系列5：进阶算法-随机森林
机器学习中，随机森林是一种组合方法，由许多的决策树组成，因为这些决策树的形成采用了随机的方法，因此也叫做随机决策树。随机森林中的树之间是没有关联的。
当测试数据进入随机森林时，其实就是让每一颗决[……]
数学教学系列9：B-S期权定价模型
数学教学系列7：拉格朗日对偶问题
在优化理论中，目标函数 f(x) 会有多种形式：如果目标函数和约束条件都为变量 xx 的线性函数, 称该问题为线性规划； 如果目标函数为二次函数, 约束条件为线性函数, 称该最优化问题为二次规划; 如[……]
数学教学系列6：ARMA模型
自回归滑动平均模型（ARMA 模型，Auto-Regressive and Moving Average Model）是研究时间序列的重要方法，由自回归模型（简称AR模型）与滑动平均模型（简称MA模型[……]
机器学习系列4：进阶算法-SVM
支持向量机，因其英文名为support vector machine，故一般简称SVM，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一[……]
机器学习系列3：算法基础-决策树
机器学习系列2：算法基础-K-Means
k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。
聚类相似度是利用各聚类中对象[……]
机器学习系列1：算法基础-Logistic回归
logistic分布
设X是连续随机变量，X服从logistic分布是指X具有下列分布函数和密度函数：
其中，μμ为位置参数，γγ为形状参数。
f(x)f(x)与F(x)F(x)图像如下[……]