研究生期间很有幸的进入到了崔老师的组,从此也就进入到了分析人体生理信号的领域,充满挑战的同时也充满了乐趣。借着CSDN整理一下近几年来参与的项目,这里蕴含着我各种美好的回忆,也作为一个展示自己的平台吧。
开始之前,必须真心的感谢崔兴然老师、黄鄂院士、彭仲康教授,遇到这几位老师真的是我一生的荣幸。也要感谢一下读研究生以来实习和工作的爱谛、安克和X(化名,在职呢哈哈哈)公司,他们提供了太好的平台供我发挥。
音乐与脑电
这个是毕设课题,所有学习的内容比较多,也因此音乐的诸多物理特征和算法都有所了解。因尝试建立音乐和脑电的关系,也不断学习了很多种非线性算法。这里不一一列举,只给出一些好玩的现象。
基音缺失(misssing fundamental)
这里院士提出了Holo的思想,从调制频率方向上解释了为什么确实基频后,听到的还是那个频率的音高,Holo算法也被应用于多种其他时序信号中。如用于分析脑电来判定阿尔兹海默症与脑小血管症。
MSE(多尺度样本熵)
彭仲康教授提出的算法,我个人通过研究时发现音乐的时序特征熵越高,对应的脑电的熵也越高。比如听Jazz和Mozart的一首歌,大尺度上的熵有很好的对应关系。
DFA(去趋势波动分析)
DFA也是彭仲康教授提出的方法,在研究莫扎特效应时我曾计算过K448的DFA指数,很接近与1,与大自然的声音(粉红噪声)接近。
音乐时大脑的功能连接
很有趣的结果,听音乐时大脑的连接强度是变小的(部分论文显示是升高的)。
助眠:ASMR与ASSR
曾通过分析一些有助眠效果音乐,还有ASMR(比如掏耳朵,揉纸团,海浪等声音),曾尝试使用音乐的ASSR(听觉稳态诱发响应)来解释,但因数据缺失耽搁了,后续有机会再次收些数据试试。
睡眠与脑电(或PSG)
主要做的任务是睡眠分期和呼吸暂停事件检测。
具体可见连接:https://hubery-hu.blog.csdn.net/article/details/135231518
目前睡眠5分期效果已有86.5%,同时为集成转化了matlab,python,c++等多种版本。
情绪与脑电 & 运动想象
这里从运动想象出发,学习了其中最常见的CSP(共空间模式)算法,将其应用于少通道脑电的情绪识别中,结合EMD和SVM常见特征,最终8种情绪的分类效果在80%左右。
脑机接口(脑控)
最初的版本是在安克做的,使用了眨眼做特征实现脑控,但是考虑到其应用面较少,脑控的算法也不成熟,最终不了了之,目前自己购买了Muse的头环,打算先开发一个脑控的猜拳小游戏。有兴趣的小伙伴也可以联系我一起测试哦~
脑电与疾病监测
后来逐渐将脑电分析用在了各种疾病的监测上,比如癫痫(癫痫发作,尖棘波识别),麻醉深度的监测,爆发抑制的识别等。下方是我模拟的爆发抑制结果(做疾病监测时开发的第一个算法)和两位专家标注结果的比较,很有成就感~
陀螺仪
欧拉角(用于空间音频)
这里基于TDK、ST等厂商的6轴陀螺仪芯片,应用四元数的方法实现了欧拉角的计算。下图是对Yaw(偏航角)的中间结果。
运动识别和姿势识别
做这个任务时,每天带着耳机蹦蹦跳跳的(测了自行车,跑步,走路,爬楼梯,跳绳,仰卧起坐,俯卧撑等),还是很怀念(I人被迫吸引别人注意力哈哈哈)~
下面分别是Jump和Walk的6轴值以及计算出的欧拉角,可以看出计步(计数)还是很简单的,姿势识别起来也很简单(比如某些角度的规律变化?当然具体识别算法需融合更多信息,之后在其他博客中介绍)
有了欧拉角,一些低头提醒和久坐提醒的功能也就很好开发了,根据场景配置即可。
音乐信号
除了常见的音乐特征(比如MFCC,色度频率,过零率等)特征的计算外,也做过一些好玩的尝试,比如改变相位和填充包络等,音乐风格真的很好玩,大家也可以试试哦。
改变相位
这里改变了K448的相位,这两首歌的频谱还是一样的。
填充包络
提取K448的包络后,波形不一致了,但整体节奏感还是一样的,音乐变得很魔性。
其他生理信号
心电和HRV
心电的算法已经很常见了,这里不再赘述,
我曾使用HRV去计算放松度来和BrainCo的结果做比对,整体曲线大趋势一致,可惜量级不一致,且细节上毛刺变化差异很大。但这个模型需建立在大量数据集的基础上,后来也没有BrainCo头环了。。。也耽搁了,后续有兴趣再试试吧。
PPG信号和呼吸率
耳内采集的PPG信号在静息放松的时候还可以同时监测到呼吸率(参考EDR算法)。
从下图可以看出,PPG的信号在上下包络上也有周期性波动,在信号质量比较好的时候,也可以用它来计算呼吸率。
血压信号的SVV和PPV
具体可见链接:https://hubery-hu.blog.csdn.net/article/details/133696610
具体效果(这里只展示最好看的波形,实际算法考虑了多种异常情况,可看上方链接了解):
其他算法
去噪
小波去噪和EMD去噪:具体见链接:
效果如下:https://hubery-hu.blog.csdn.net/article/details/133862472
Hample算法:https://hubery-hu.blog.csdn.net/article/details/132020843
效果如下:
ICA
这里复写了Sobi和MARA算法,实现脑电的ICA。
下图展示了分解出的眼电成分(眨眼和眼瞟)。
各种深度学习方法
CNN、LSTM、Transformer、GNN等都有所涉及,不一一赘述了。
混沌、分形、滤波等多种算法
总结
希望这些介绍能让大家对我有个基础的映像,不定期更新哦~