目录
前言
算法原理
什么是判别分析
线性判别分析(LDA)
数学模型
二分类
多分类LDA
编辑
算法思想:
费歇(FISHER)判别思想
贝叶斯(BAYES)判别思想
LDA算法流程
LDA与PCA对比
SPSSPRO
1、作用
2、输入输出描述
3、案例示例
4、案例数据
5、案例操作
6、输出结果分析
7、注意事项
8、模型理论
SPSS
判别分析:定义范围
判别分析:选择个案
判别分析:统计
判别分析:步进法
判别分析:分类
判别分析:保存
优缺点
代码实现
R语言
MATLAB
python
基于LDA 手写数字的分类
前言
线性判别分析是一种很重要的分类算法,同时也是一种降维方法(这个我还没想懂)。和 PCA 一样,LDA 也是通过投影的方式达到去除数据之间冗余的一种算法。
如下图所示的 2 类数据,为了正确的分类,我们希望这 2 类数据投影之后,同类的数据尽可能的集中(距离近,有重叠),不同类的数据尽可能的分开(距离远,无重叠),左图的投影不好,因为 2 类数据投影后有重叠,而右图投影之后可以很好地进行分类,因为投影之后的 2 类数据之间几乎没有重叠,只是类内重叠得很厉害,而这正是我们想要的结果。
算法原理
什么是判别分析
判别分析有两种主要形式:线性判别分析(LDA)和二次判别分析(QDA)。LDA假设每个类别的协方差矩阵相同,并寻找最优的判别方向来最大化类别之间的距离。QDA假设每个类别的协方差矩阵都不同,并寻找最优的判别方向来最大化类别之间的距离,同时也考虑了每个类别的协方差矩阵。