机器学习——绪论总结

一、引入

二、基本术语

三、假设空间与归纳偏

四、模型选择

一、引入

机器学习：通过计算手段，得出具有能够自我修改、完善能力的模型，利用经验改善系统自身性能。算法使用数据得到模型的过程即称为学习，或训练

流程：根据输入数据，通过算法得到预测模型，对目标进行预测

模型类别：分为有监督学习和无监督学习，其中有监督学习主要有分类和回归，无监督学习有如聚类等。关于有监督学习和无监督学习可见另一篇文章

机器学习：什么是监督学习和无监督学习-CSDN博客

得到模型之后即可进行预测，会有用于测试的测试样本

二、基本术语

以例子的方式理解一些主要的术语，现有一个问题：如何判断一个西瓜是否是好瓜。取100个西瓜进行研究，则

数据集：这100个西瓜通过量来表示，即可视为数据集，数据集可分为训练集和测试集

训练集：训练的过程使用的数据集。

测试集：进行预测或测试使用的数据集。

一般机器学习的任务是希望通过对训练集进行学习，建立一个从输入x到输出y的映射——f：X->Y。在学到模型 f 后，对测试集进行测试，看这个模型训练的精度能够达到多少。

样本：取其中部分西瓜进行研究，可称为样本

属性：又称特征，描述事物在某个方面的具体表现，常常在数据中的表现形式为数据集的某一列，一个特征表示一列数据。

属性值：又称特征值，表示某样本在该属性上的具体取值，比如西瓜的体积是 60cm³ 。这个“60cm³ ”在此处即是西瓜大小这一属性的取值

维度：用于表示特征的多少，如上面三个特征就是三维

属性空间：又称样本空间，属性张成的空间。是属性的所有可能取值组成的集合，如果属性是多维度的，则属性空间是多维度的集合。

例：只有一个属性，在该属性上的所有可能取值组成的集合 [1，2，3，...] 构成一维属性空间，若有多个维度，如一个人的年龄，身高，体重构成一个属性空间为三维[[1，2，3，...],[171,181,182,...],[140,152,110,...]]

特征向量：使用西瓜三个特征——色泽，根蒂，敲声三个属性，作为三个坐标轴，每个西瓜对应一个空间点（一个原点指向该点的坐标向量），每个这种示例称为一个特征向量。

泛化能力：算法对于未见过的新数据的预测能力

三、假设空间与归纳偏

假设空间：由于机器学习是学习得到由输入到输出的映射（或模型），对于所有属性的所有取值会构成假设空间。如好西瓜问题的假设空间由“（色泽=XXX）^（根蒂=XXX）^（敲声=XXX）”中所有可能的取值假设构成。

版本空间：在过程中可以有许多策略对假设空间进行搜索，例如自顶向下、从一般到特殊，不断删除和正例不一致的假设、和与反例一致的假设，最终将会获得与训练集相匹配（即所有训练样本基本都能够判断正确）的假设，这些假设构成版本空间。

如上述假设空间中，满足“是好西瓜”的特征的假设构成版本空间

归纳偏好：假如现在版本空间中有三个与训练集相匹配的假设，但是对应的模型在遇到一个新问题时可能会产生不同的预测结果。那么，应该如何选择？这时，学习算法本身的“偏好”就会起到决定性作用。机器学习算法在学习过程中对某种类型假设的偏好，称为：“归纳偏好”。简单来说就是对哪一个特征或模型更相信，可看作学习算法本身在一个有可能很庞大的假设空间中的“价值观”。

关于这几个概念可以看一下这个例子：

西瓜书《机器学习》阅读笔记1——Chapter1_假设空间_机器学习周志华,西瓜问题假设空间微为65怎么计算的-CSDN博客

如何来引导算法树立正确的偏好，或者说如何选择合适的模型呢