监督学习与无监督学习 概念监督学习先贴一下网上的定义 根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。 我的理解，根据字面的意思，监督就是具有指导性的，有目的性的，对给定的数据，有人为的分辨，常说的就是数据有人为给出的特征和标签，先给定数据特征和标签之间的关系，然后在之后的预测过程中，只给出数据特征的时候，可以通过机器自己得出数据的标签。这就是我们常说的，我们教机器学习做事情。监督学习的分类回归 （Regression）分类 （Classification）回归（Regression）针对连续的变量的数据集或者说，可以用一条线表示出来的数据预测比如房价预测给出一些房价的价格和房子面积大小之间的关系，可以绘制出直线模型或者二阶函数来拟合数据不同的模型，相同的变量，得到的房价预测值是不同的回归，对已存在的数据集进行分析，拟合出一条最合适的y=f(x)函数，y就是数据的标签，而x就是自变量，新的x将得到不同y值分类（Classification）分类相比于回归，数据集更加离散或者说，分类问题有明显的边界线，比如非0则1，非黑即白比如 肿瘤的例子肿瘤有恶性与良性之分，则可以用1和0表示，对于数据集，结果只有0和1，特征可以是其中一个，比如肿瘤的大小，则绘制的图机器通过已知的数据集，判断之后给出的特征预测其结果无监督学习什么是无，无就是什么都不说什么都不给，让机器自己学习，给定一些算法，比如聚类算法，机器根据聚类算法，自动给数据集分类，找到数据中的相同或类似的特征，之后给分好类的数据集得出标签。比如给定一个数据集，机器根据聚类算法，自动分类，绘图表示生活中应用:Google新闻会检索所有网站的新闻，根据关键字，给这些新闻归类，贴上相同的标签人体中基因的序列，根据聚类算法，将基于相同特征的DNA分类，判断其表达程度，从而区分出不同类别的人。参考文章小白都看得懂的监督学习与无监督学习

梯度下降 什么是梯度下降？理解什么是梯度下降法，按照字面的意思理解，梯度下降就类似于走楼梯，一步一步往下走。常见的比喻是：一个人在山顶，想要在太阳下山之前，赶到山底，那么他需要考虑的因素就是每次往下走的方向和每次走的距离，如果距离太大，容易走过山底，如果距离太短，可能无法在太阳下山之前到达山底，所以需要找到一个合适的节点，以最佳的方向，最合适的距离到达山底。微分函数中某一点的斜率几个微分的例子多变量的微分梯度梯度是多变量的一般化，具体的理解就是虽然是多变量但是可以单独区别的来看待，每个变量一个微分如：多变量的梯度就是各向量单变量函数中，函数的微分就是定点的斜率多变量的函数中，函数的微分是一个带有方向的向量，向量由多变量函数的一般化组成梯度下降算法的数学意义J是一个Θ的一个梯度函数，或者说微分函数，我们假设出于Θ0这个点，我们根据J函数计算梯度的反方向，然后走α的长度，到达Θ1这个点α 学术语为学习率或者步长，理解就是每次得到梯度方向后所需要走的距离，这个距离太大容易错过最低点，太小会导致无法走到最低点，所以需要把握好！梯度学习的模拟算法单变量的梯度下降假设一个单变量的函数求出函数的微分假设我们的起点位置同时设定学习率为梯度学习计算公式开始模拟迭代计算过程图示梯度下降过程多变量梯度下降模拟假设目标函数假设初始值学习率函数梯度向量迭代计算图示参考文章简书-梯度下降

代价函数 什么是代价函数？按我个人理解就是 对于一个假设函数如和给定的一个数据集我们需要寻找到一个函数，来使假设函数的值更好的拟合数据集，即能够推导出最优解的函数代价函数作用原理特定问题有特定的代价函数对于，回归问题，常用的代价函数就是平方误差函数如我们给定一个数据集它的假设函数是一条线性函数-直线对于该函数，的θ0 和 θ1 两个参数，我们需要不断变换值，用代价函数，寻找最佳值寻找最优解，就需要平方误差代价函数平方误差代价函数: 将实际数据给出的值与我们拟合出的线的对应值做差，求出我们拟合出的直线与实际的差距常常使用简化的方法我们将θ0看作是0，那么只有θ1是变化的用文字表述就是：将假设的一条线性函数，当给出相同的x值的时候，会得到一个，同时与对于的真实数据做差值取平方，再求和，取 2m 而非 m，是为了方便计算公式表示就是：图示表示就是：求出该函数的最小值，即为最优解，上图展示的只是θ1单个值变化情况如果出现θ0和θ1同时变化，则图展示为：总结起来，回归问题，代价函数最小值：