一、机器学习基础

1.1 机器学习概述

• 定义：通过数据和算法让计算机自动学习规律，改进性能。
• 核心思想：从数据中学习模式，而非显式编程。
• 应用领域：图像识别、推荐系统、金融预测等。

1.2 机器学习 vs 传统编程

传统编程	机器学习
程序员定义规则	数据驱动自动学习规则
输入→规则→输出	输入→模型→输出

1.3 机器学习类型

1. 监督学习：带标签数据（分类/回归）
2. 无监督学习：无标签数据（聚类/降维）
3. 强化学习：通过奖惩与环境交互学习

1.4 机器学习工作流程

1. 数据收集：结构化/非结构化数据
2. 预处理：清洗、特征工程、标准化
3. 模型训练：选择算法，最小化损失函数
4. 评估优化：准确率、F1分数等指标
5. 部署迭代：持续优化模型性能

二、核心算法实战

2.1 线性回归（监督学习）

• 目标：预测连续值（如房价）
• 公式：y = w1x1 + w2x2 + ... + b
• 优化方法：最小二乘法、梯度下降
• Python实现：

from sklearn.linear_model import LinearRegression
model = LinearRegression().fit(X_train, y_train)
print(f"斜率: {model.coef_}, 截距: {model.intercept_}")

2.2 决策树（监督学习）

• 原理：通过树状结构进行决策分类
• 关键概念：信息增益、基尼指数
• 优缺点：易解释但易过拟合
• 可视化：

from sklearn.tree import export_graphviz
export_graphviz(clf, out_file='tree.dot', feature_names=iris.feature_names)

2.3 支持向量机（SVM）

• 核心：寻找最大化分类间隔的超平面
• 核技巧：处理非线性数据（RBF核、多项式核）
• 实战代码：

from sklearn.svm import SVC
clf = SVC(kernel='linear').fit(X_train, y_train)
print(f"准确率: {clf.score(X_test, y_test)}")

2.4 K-近邻算法（KNN）

• 原理：基于距离投票分类
• 调参技巧：交叉验证选择最优K值
• 回归应用：

from sklearn.neighbors import KNeighborsRegressor
knn_reg = KNeighborsRegressor(n_neighbors=5).fit(X_train, y_train)

三、集成学习进阶

3.1 随机森林（Bagging）

• 原理：多棵决策树投票/平均
• 优势：抗过拟合，并行训练

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=100).fit(X_train, y_train)

3.2 AdaBoost（Boosting）

• 原理：迭代优化样本权重
• 特点：关注前序模型错误样本

from sklearn.ensemble import AdaBoostClassifier
ada = AdaBoostClassifier(base_estimator=DecisionTreeClassifier(max_depth=1)).fit(X_train, y_train)

3.3 Stacking

• 原理：组合多个模型预测结果训练元模型
• 实现：

from sklearn.ensemble import StackingClassifier
stacking = StackingClassifier(estimators=[('dt', DecisionTreeClassifier()), ('svc', SVC())], final_estimator=LogisticRegression())

四、实战案例

4.1 鸢尾花分类任务

1. 数据加载：

from sklearn.datasets import load_iris
iris = load_iris()
X, y = iris.data, iris.target

2. 模型训练：

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

3. 评估对比：

算法	准确率
KNN	0.97
决策树	1.00
随机森林	1.00

五、关键工具

1. Python库：
   • scikit-learn：经典算法实现
   • TensorFlow/PyTorch：深度学习框架
   • XGBoost/LightGBM：高效梯度提升框架
2. 数据预处理：

   from sklearn.preprocessing import StandardScaler
   scaler = StandardScaler().fit(X_train)
   X_train_scaled = scaler.transform(X_train)
   

六、常见问题

1. 过拟合：增加正则化、减少特征、增大数据量
2. 欠拟合：增加模型复杂度、特征工程
3. 数据不平衡：SMOTE算法、调整类别权重