徐亦达机器学习：Kalman Filter 卡尔曼滤波笔记 (一)

在这里插入图片描述

	$P(x_t$ `\|` $x_{t-1})$	$P(y_t$ `\|` $x_t)$	$P(x_1)$
Discrete State DM	$A_{X_{t-1},X_t}$	Any	$\pi$
Linear Gassian Kalman DM	$N(AX_{t-1}+B,Q)$	$N(HX_t+C,R)$	$N(\mu_0,\epsilon_0)$
No-Linear NoGaussian DM	$f(x_{t-1})$	$g(y_t)$	$f(x_1)$

$\left\{ \begin{aligned} P(y_1,...,y_t)--evaluation\\ argment \theta \log{P(y1,...,y_t|\theta)}--parameter learning \\ P(x_1,...,x_t|y_1,...,y_t)-state decoding \\ P(x_t | y_1,..,y_t)-filtering \end{aligned} \right.$
在这里插入图片描述

线性高斯噪声的动态模型

在这里插入图片描述

$P(x_t|y_1,...,y_t)$
假设转移概率是 $P(x_t|X_{t-1})= N(AX_{t-1}+B,Q)$
$X_t = AX_{t-1}+B+\omega$ , $\omega \sim N(0,Q)$

measurement probility
$P(y_t|x_t) = N(HX_t+C,R)$
$y_t = HX_t+C+v$
$\sim N(0,R)$
以下都是参数。
在这里插入图片描述

在这里插入图片描述

filter公式推导

在这里插入图片描述

HMM模型，当隐变量确定的时候，观测就变成独立的了。

卡尔曼滤波，当t = 1的时候，我们就知道 $P(x_1|y_1) \sim N(\hat u_1,\hat \sigma_1)$
t = 2的时候， $P(x_2|y_2) \sim N(\overline u_2,\overline \sigma_2)$

个人理解

卡尔曼滤波可以理解为滤波器的一种，用数学表达就是用观测量 $y_1,y_2,y_3...,y_t$ 来获得t时刻的估计量 $x_t$ ，数学公式为
$P(x_t|y_1,...,y_t)$ 正比与 $P(x_t,y_1,...,y_t)$ 可以理解为前置条件 $y_1,...,y_t$ 发生的条件下有发生 $x_t$ 的概率与两类事件同时发生的概率是成正比的。可以简单理解为 $P (A ∣ B)$ 与 $P (A, B)$ 成正比。
那么得出 $P(x_t|y_1,...,y_t) \propto P(x_t,y_1,...,y_t) \propto P(y_t|x_t,y_1,...,y_{t-1}) * P(x_t|y_1,...,y_{t-1})$
有HMM可以得知， $P(y_t)$ 发生的概率是只跟 $x_t$ 相关，因此 $P(y_t|x_t,y_1,...,y_t-1) = P(y_t|x_t)$ ,而 $x_t$ 的估计量，是通过上一次观测获得， $x_t$ 与 $y_1,...,y_{t-1}$ 相关。
那么得出预测为 $P(x_t|y_1,...,y_{t-1})$ ，前t-1时刻的观测值估计下一刻t的状态。
将 $x_t$ 看为常量，将 $x_{t-1}$ 看为变量，那么就得到了预测公式的推导公式为 $P(x_t|y_1,...,y_{t-1})=\int_{d(x_{t-1})}{P(x_t,x_{t-1}|y_1,...,y_t)dx_{t-1}} \propto \int_{x_{t-1}}P(x_t|x_{t-1})P(x_{t-1}|y_1,...,y_{t-1})d(x_{t-1})$

总结

预测：不知道当前时刻的观测，用上一时刻观测与预测当前时刻的状态
$P(x_t|y_1,...,y_{t-1})= \int P(x_t|x_{t-1})P(x_{t-1}|y_1,...,y_{t-1})$
更新：已经知道当前时刻的观测，用当前的观测更新当前可是的状态
$P(x_t|y_1,...,y_t)=P(y_t|x_t)P(x_t|y_1,...,y_{t-1})$

在这里插入图片描述

结论

$x_t|y_1,...,y_{t-1}=AE[x_{t-1}]+A\Delta X_{t-1}+\omega$ $=E[x_t]+\Delta x_t$
$y_t|y_1,...y_{t-1} = HAE[X_{t-1}]+HA \Delta x_{t-1}+H\omega + v = E[y_t] + \Delta y_t$
$P(x_t|y_1,...,y_t) = N(AE[x_{t-1}],E[(\Delta x)(\Delta x)^T])$
$P(y_t|y1,...,y_{t-1}) = N(HAE[X_{t-1}],E[(\Delta y)(\Delta y)^T])$
以上为边缘分布
$P(x_t,y_t|y_1,...,y_{t-1})$