mamba输入输出实现与transformer几乎完全一样的功能,但速度和内存占用具有很大优势。对比transformer,transformer存在记忆有限的情况,如果输入或者预测的序列过长可能导致爆炸(非线性),而mamba不存在这种情况。
SSM(state space model)
例:对小车系统,当前状态完整信息需要位置,速度的完整信息以预测未来,经过推导(式3),最后当前状体求导(预测未来走向)取决于当前state以及model的input(拉力摩擦力等)
这个过程是一个递归过程,系统输入输出的高阶等式被转换成状态机表示的低阶表达式(state维数换阶数)
一般连续时间SSM
例:以摆锤(物理模型)为例。两侧有不稳定驻点。中间是最后平衡点,它的vector field如图所示。
原微分方程如下方所示,二阶,通过拆分成二维表示的状态,阶度降低,整体呈线性。
每一个当前状态可以根据vector field预测下一个state,直至稳定状态(或者说最后得到输出)
一般离散时间SSM
如何定义线性系统
SSM节约计算时间的重要原因是,它是线性系统,阶数低,计算速度快
all i care about is A,B,C,D matrix
如何构造SSM模型
在机器学习过程中,delta(步长)不会作为输入,而是待训练的参数。