【自然语言处理】— 隐马尔可夫模型

引例

假设有三种不同的骰子，分别是立方体，正四面体，正八面体，分别有1-6，1-4，1-8，分别记作D6、D4、D8。每个面出现的概率分别是1/6，1/4，1/8。

在不观察的情况下，从三个骰子中随机选一个，进行抛掷，结果可能是1-8中的任意数字。依照这种方式，随机选择骰子，重复抛掷，可以得到一串数字，这串数字对我们是可见的，并且直接记录下来了，因此将这串数字记作可见状态链

在抛掷的过程中，被我们随机选择的骰子编号也组成了一串序列，因为我们是随机选择的骰子，因此将这串序列称为隐含状态链

实验过程中产生了两个数据链，隐含状态链和可见状态链，隐马尔可夫模型=隐含状态链➕可见状态链

隐马尔可夫模型概念

隐马尔可夫模型（Hidden Markov Model），简称HMM，它是关于时序的概率模型，该模型包含随机生成的不可观测序列，该序列被称为状态序列，使用S表示，每个不可观测状态都会产生一个可观测的结果，这样会得到一个观测序列，使用O表示。

每个状态和时刻都会与一个时刻进行对应，如果有t个时刻，就产生了$s_1\to s_t，o_1\to o_t$，相当于一次一次掷骰子，t就代表第几次掷骰子

在HMM中，状态序列是隐藏的，无法被观测到，因此状态变量是一个隐变量，隐藏的状态序列是由一个马尔可夫链，随机生成的

隐马尔可夫模型的关键

在隐马尔可夫模型中， 包含了四个关键因素，分别是：

1. 隐含状态
2. 可见状态
3. 隐含状态转换
4. 可见状态输出

各个隐含状态之间会进行转换，存在着对应的转换概率

隐含状态会输出可见状态，隐含状态和可见状态之间有一个输出概率，不同隐含状态到可见状态的输出概率可能不同

例如，隐含状态D6输出可见状态1到6概率是$\frac{1}{6}$，隐含状态D4输出可见状态1到4概率是$\frac{1}{4}$，

隐马尔可夫模型的数学表示

为了进一步讨论隐马尔可夫模型，需要使用数学符号来表示HMM，其中包括隐含状态$Q$和观测结果$V$两个集合，状态转移概率矩阵$A$，观测概率矩阵$B$，初始状态概率向量$\pi$，三个概率矩阵。

隐含状态与观测结果

例如，隐含状态集合 Q = { q 1 , q 2 , . . . , q n } Q = \{q_1,q_2,...,q_n\} Q={q1​,q2​,...,qn​}包括$q_1到q_{n}n$种状态
观测结果集合 V = { v 1 , v 2 , . . . , v m } V=\{v_1,v_2,...,v_m\} V={v1​,v2​,...,vm​}包括$v_1到v_{m}m$种可能的结果

在掷骰子的案例中，$n=3q_1,q_2,q_3对应D_6,D_4,D_8$
$m=8v_1到v_8对应数字1到8$

状态转移矩阵

状态转移的概率矩阵$A$是一个是一个$N\ast N$的矩阵

其中$a_{ij}$代表了状态$q_i$转移到状态$q_j$的概率

具体地，$a_{ij}等于在s_t=q_i的条件下，s_{t+1}=q_j的概率$

例如，3个骰子，选择任意骰子的概率都是$\frac{1}{3}$，那么就得到了$3\ast 3$的状态转移概率矩阵，其中的每个元素都是$0.33$，

观测概率矩阵

观测概率矩阵为$B$，由于每一个状态$q$都可以输出一个观测结果$v$，因此B是一个$N\ast M$的矩阵

其中$b_{i}j$代表了在时刻$t$，状态$q_i$输出观测结果$v_j$的概率。

例如，在掷骰子时，根据三种骰子的输出，可以得到一个$3\ast 8$的概率矩阵，第一行对应六面骰子，输出1到6的概率是1/6，输出7和8的概率是0，而第二行和第三行，分别代表投掷四面骰子和八面骰子的输出1到8的概率

初始状态概率向量

初始状态的概率向量是$\pi$，它是一个$N\ast 1$的列向量，${\pi }_i$代表在时刻$t=1$时，状态为$q_i$的概率，例如，掷骰子时，三种骰子的概率都是1/3

小结

$\pi 和A$确定了隐藏的马尔可夫链，也就是如何生成不可观测的状态序列$S$，$B$确定了如何从隐藏状态产生观测状态序列$O$，隐马尔可夫模型由$A、B、\pi$共同决定，使用三元符号$\lambda =(A,B,\pi )$表示。

参考视频：什么是HMM隐马尔可夫模型，自然语言处理中的最基础算法之一_哔哩哔哩_bilibili