解密人工智能：KNN | K-均值 | 降维算法 | 梯度Boosting算法

在这里插入图片描述

文章目录

一、机器学习算法简介
- 1.1 机器学习算法包含的两个步骤
- 1.2 机器学习算法的分类
二、KNN
三、K-均值
四、降维算法
五、梯度Boosting算法和AdaBoosting算法
六、结语

一、机器学习算法简介

机器学习算法是一种基于数据和经验的算法，通过对大量数据的学习和分析，自动发现数据中的模式、规律和关联，并利用这些模式和规律来进行预测、分类或优化等任务。机器学习算法的目标是从数据中提取有用的信息和知识，并将其应用于新的未知数据中。
在这里插入图片描述

1.1 机器学习算法包含的两个步骤

机器学习算法通常包括两个主要步骤：训练和预测。在训练阶段，算法使用一部分已知数据（训练数据集）来学习模型或函数的参数，以使其能够对未知数据做出准确的预测或分类。在预测阶段，算法将学习到的模型应用于新的数据，通过模型对数据进行预测、分类或其他任务。

1.2 机器学习算法的分类

机器学习算法可以是基于统计学原理、优化方法、神经网络等等。根据学习的方式不同，机器学习算法可以分为监督学习、无监督学习和强化学习等几种类型。不同的机器学习算法适用于不同的问题和数据类型，选择合适的算法可以提高机器学习的任务效果。

监督学习算法：监督学习算法需要训练数据集中包含输入和对应的输出（或标签）信息。常用的监督学习算法包括：线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、人工神经网络等。
无监督学习算法：无监督学习算法不需要训练数据集中的输出信息，主要用于数据的聚类和降维等问题。常用的无监督学习算法包括：K均值聚类、层次聚类、主成分分析、关联规则挖掘等。
强化学习算法：强化学习算法通过与环境进行交互，试图找到最优策略来最大化奖励。常用的强化学习算法包括：Q学习、深度强化学习算法等。

此外，还有一些常用的机器学习算法和技术，如集成学习、降维方法、深度学习、迁移学习、半监督学习等，它们通过不同的方式和建模方法来解决不同的问题。选择合适的机器学习算法需要考虑问题的性质、数据的特点、算法的可解释性和计算效率等因素。

二、KNN

K 最近邻 (KNN) 是一种简单而强大的算法，用于机器学习中的分类和回归任务。它基于这样的想法：相似的数据点往往具有相似的目标值。该算法的工作原理是查找给定输入的 k 个最近数据点，并使用最近数据点的多数类或平均值来进行预测。
在这里插入图片描述
构建 KNN 模型的过程从选择 k 值开始，k 是预测时考虑的最近邻居的数量。然后将数据分为训练集和测试集，训练集用于查找最近的邻居。为了对新输入进行预测，该算法计算输入与训练集中每个数据点之间的距离，并选择 k 个最近的数据点。然后使用最近数据点的多数类或平均值作为预测。

优点：KNN 的主要优点之一是其简单性和灵活性。它可用于分类和回归任务，并且不对底层数据分布做出任何假设。此外，它可以处理高维数据，并可用于监督和无监督学习。

缺点：KNN 的主要缺点是其计算复杂性。随着数据集大小的增加，查找最近邻居所需的时间和内存可能会变得非常大。此外，KNN 对 k 的选择很敏感，并且找到 k 的最佳值可能很困难。

总结：K 最近邻（KNN）是一种简单而强大的算法，适用于机器学习中的分类和回归任务。它基于这样的想法：相似的数据点往往具有相似的目标值。KNN的主要优点是简单性和灵活性，它可以处理高维数据，并且可以用于监督和无监督学习。KNN 的主要缺点是其计算复杂性，并且对 k 的选择很敏感。

三、K-均值

K-means 是一种用于聚类的无监督机器学习算法。聚类是将相似的数据点分组在一起的过程。K-means 是一种基于质心的算法或基于距离的算法，我们计算将点分配给簇的距离。
在这里插入图片描述
该算法的工作原理是随机选择 k 个质心，其中 k 是我们想要形成的簇的数量。然后将每个数据点分配给具有最近质心的簇。一旦分配了所有点，质心将被重新计算为簇中所有数据点的平均值。重复此过程，直到质心不再移动或点对簇的分配不再改变。

优点：K-means 的主要优点之一是其简单性和可扩展性。它易于实现并且可以有效地处理大型数据集。此外，它是一种快速且鲁棒的算法，已广泛应用于图像压缩、市场细分和异常检测等许多应用中。

缺点：K 均值的主要缺点是它假设簇是球形且大小相等，但现实世界数据中的情况并非总是如此。此外，它对质心的初始放置和 k 的选择很敏感。它还假设数据是数字的，如果数据不是数字的，则必须在使用算法之前对其进行转换。

总结：总之，K-means 是一种用于聚类的无监督机器学习算法。它基于这样的想法：相似的数据点往往彼此接近。K-means 的主要优点是其简单性、可扩展性，并且广泛应用于许多应用中。K-means 的主要缺点是它假设簇是球形且大小相等，它对质心的初始位置和 k 的选择敏感，并且假设数据是数值的。

四、降维算法

降维是一种用于减少数据集中特征数量同时保留重要信息的技术。它用于提高机器学习算法的性能并使数据可视化更容易。有多种可用的降维算法，包括主成分分析 (PCA)、线性判别分析 (LDA) 和 t 分布随机邻域嵌入 (t-SNE)。
在这里插入图片描述
主成分分析 (PCA) 是一种线性降维技术，它使用正交变换将一组相关变量转换为一组称为主成分的线性不相关变量。PCA 对于识别数据模式和降低数据维度而不丢失重要信息非常有用。

线性判别分析（LDA）是一种监督降维技术，用于为分类任务找到最具判别性的特征。LDA 最大化了低维空间中类之间的分离。

t 分布随机邻域嵌入 (t-SNE) 是一种非线性降维技术，对于可视化高维数据特别有用。它使用高维数据点对上的概率分布来查找保留数据结构的低维表示。

优点：降维技术的主要优点之一是它们可以通过降低计算成本和降低过度拟合的风险来提高机器学习算法的性能。此外，它们还可以通过将维度数量减少到更易于管理的数量来使数据可视化变得更容易。

缺点：降维技术的主要缺点是在降维过程中可能会丢失重要信息。此外，降维技术的选择取决于数据的类型和手头的任务，并且可能很难确定要保留的最佳维数。

总结：总之，降维是一种用于减少数据集中特征数量同时保留重要信息的技术。有多种降维算法可用，例如 PCA、LDA 和 t-SNE，它们可用于识别数据模式、提高机器学习算法的性能并使数据可视化更容易。然而，在降维过程中可能会丢失重要信息，并且降维技术的选择取决于数据的类型和手头的任务。

五、梯度Boosting算法和AdaBoosting算法

梯度提升和 AdaBoost 是两种流行的集成机器学习算法，可用于分类和回归任务。这两种算法都通过组合多个弱模型来创建一个强大的最终模型。
在这里插入图片描述
梯度Boosting算法：梯度提升是一种迭代算法，它以向前阶段的方式构建模型。它首先将一个简单的模型（例如决策树）拟合到数据中，然后添加其他模型来纠正先前模型所犯的错误。每个新模型都适合损失函数相对于先前模型的预测的负梯度。最终模型是所有单独模型的加权和。

AdaBoosting算法：AdaBoost 是自适应增强 (Adaptive Boosting) 的缩写，是一种类似的算法，也以前向阶段方式构建模型。然而，它的重点是通过调整训练数据的权重来提高弱模型的性能。在每次迭代中，算法都会关注被先前模型错误分类的训练样本，并调整这些样本的权重，以便它们在下一次迭代中被选择的概率更高。最终模型是所有单独模型的加权和。
在这里插入图片描述
人们发现梯度增强和 AdaBoost 在许多实际应用中都可以生成高精度模型。这两种算法的主要优点之一是它们可以处理多种数据类型，包括分类数据和数值数据。此外，这两种算法都可以处理缺失值的数据，并且对异常值具有鲁棒性。