机器学习基础-机器学习的常用学习方法

半监督学习的概念

规则学习的概念

基本概念

机器学习里的规则

逻辑规则

规则集

充分性与必要性

冲突消解

命题逻辑 → 命题规则

序贯覆盖

单条规则学习

剪枝优化

强化学习的概念

1. 强化学习对应了四元组

2. 强化学习的目标

强化学习常用马尔可夫决策过程 (MDP) 描述

1. 机器所处的环境 F

2. 状态空间 X

3. 机器能采取的行为空间 A

4. 策略 (policy) π

5. 潜在的状态转移 (概率) 函数 P

6. 潜在的奖赏 (reward) 函数 R

强化学习vs监督学习

半监督学习的概念

少量有标签样本和大量有标签样本进行学习；这种方法旨在利用未标注数据中的结构信息来提高模型性能，尤其是在标注数据获取成本高昂或困难的情况下。

规则学习的概念

规则学习（Rule Learning）是一种机器学习方法，它旨在从数据中自动发现和提取出能够描述数据模式的规则。这些规则通常是人类可读的，并且可以用来进行预测、分类或解释数据。规则学习的目标是找到一组简洁而有效的规则，使得这些规则能够在新的、未见过的数据上做出准确的决策。

基本概念

机器学习里的规则

若......则......

解释：如果预测函数 h^(x) 的输出等于某个值 y^，则实际输出 y 也应为 y

解释：如果预测函数 h(x) 的输出大于0，则样本属于正类（class = 1）；否则属于负类（class = -1）。

解释：如果样本 x 到中心点 ci 的距离小于到其他所有中心点的距离，则样本 x 被分配到簇 ci。

逻辑规则

规则集

如果西瓜的根蒂是缩缩的且肚脐是凹陷的，则该西瓜是好瓜。
如果西瓜的纹理是模糊的，则该西瓜不是好瓜。

充分性与必要性

充分性: 如果条件满足，则结论必然成立。
必要性: 如果结论成立，则条件必须满足。

冲突消解

顺序规则: 按照规则的顺序进行匹配和应用。
缺省规则: 在没有明确规则的情况下使用默认规则。
元规则: 用于处理规则之间的冲突或优先级问题。

命题逻辑 → 命题规则

原子命题:
用大写字母表示，如 A,B,C,…
逻辑连词:
包括：←,→,↔,∧,∨,¬,…
eg：
- 好瓜←(根蒂=蜷缩)∧(脐部=凹陷)
  这个规则可以读作：“如果西瓜的根蒂是蜷缩的且脐部是凹陷的，则该西瓜是好瓜。”

序贯覆盖

主要一个生成规则集的机器学习算法，主要用于分类任务。
在训练集上每学到一条规则，就将该规则覆盖的样例去除，然后以剩下的样例组成训练集重复上述过程（分治策略）

单条规则学习

目标：寻找一组最优的逻辑文字来构成规则体
本质：搜索问题
方法：
- 自顶向下：一般到特殊（特化）
  eg：初始时假设“所有西瓜都是好瓜”，然后逐步增加条件，如“根蒂蜷缩且脐部凹陷”，以更精确地定义哪些西瓜是好瓜。
- 自底向上：特殊到一般（泛化）

剪枝优化

预剪枝
- 使用似然率统计量 (LRS) 来评估规则的有效性，并在规则生成过程中进行剪枝。
- 目的是减少过拟合，提高模型的泛化能力。
后剪枝
- 在规则生成完成后，通过穷举所有可能的剪枝操作来优化规则集。
- 减错剪枝（REP）
  - 用验证集反复剪枝直到准确率无法提高
  - 穷举所有可能的剪枝操作（删除文字，删除规则），复杂度非常高
两者结合
- IREP：每生成一条新规则即对其进行REP剪枝
- IREP*：对IREP的改进
- RIPPER：具体过程如下

① 用IREP*生成规则集，但发现规则覆盖了两个负样本

② 选取该规则，找到其覆盖的样例，之后重新生成规则

③ 特化原规则后再泛化

④ 把新规则和原规则分别置入规则集进行评价，留下最好的

④ 反复优化直到无法进步

强化学习的概念

强化学习（Reinforcement Learning, RL）是机器学习的一个分支，它关注的是如何基于环境所给予的奖励或惩罚信号来采取行动，以实现某种长期目标。在强化学习中，智能体（Agent）通过与环境（Environment）交互来进行学习，其目的是找到一种策略（Policy），使得累积的奖励最大化。