(多模态 / 多维度)特征融合

文章目录

  • 模式分类中的特征融合方法
    • 引入
    • 现状 ( < 2017)
    • 算法
      • 基于贝叶斯理论的特征融合算法
        • 决策级水平融合(*)
        • 特征级水平融合
      • 基于稀疏表示理论的特征融合算法
      • 基于深度学习的特征融合算法
  • 偏传统的特征融合方法[^6]
  • 一些多模态特征融合的思路方法[^7]
    • 基于线性规划模型
    • 基于稀疏高维映射
  • Adaboost 算法其实也可以看成是一种特征融合的算法
  • 字典学习 系数表示 特征融合

  • 多维度是数学上的,即张量
  • 多模态是数据类型上的,比如音频,视频,图像,传感器回传数值

模式分类中的特征融合方法

引入

  • 传统模式识别思路:特征工程(特征提取、特征降维、特征融合等)、分类器设计、训练测试
  • 特征如:颜色特征、SIFT特征、HOG特征、HOF特征、GIST特征等
  • 分类器如:KNN、SVM,Random Forest、CNN等
  • 特征分为:人工设计的特征 和 深度特征,前者特点鲜明意义明确,后者面向具体问题(即理解为 提取的特征 是针对CNN训练时侧重的具体问题和场景 )
  • 一般 特征存在:类内方差小 而 类间方差大(即不同样本的同种特征的差异小,而不同的特征的差异大),所以从这里就可以知道 多模态的特征 融合 不能是 简单的相加相减或者拼接就完事了,会导致可能融合的特征会出现 被某种特征 所主宰 的情况。所以特征融合是能好好研究的(即研究有难度、有价值 和 有意义)
  • 基于两个经验前提:① 不同特征有 独立性(即相关性小)② 多特征融合 较 单一特征 可分类性能更好
    • 为啥这样说呢?就是 三个臭皮匠顶个诸葛亮,每个特征 管图像目标的 一方面特性,那融合后的特征表示就更加能全面的表示目标/图像,即使 不同图像 的 部分特征的差异小,其他特征仍有区分度,所以整个算法也就更加 rubust(鲁棒性)
  • 信息融合 从处理层次划分为:决策级(分类器级 decision level fusion)、特征级( feature level fusion) 和 数据(这里就是图像)级(data level fusion)
    • 所以特征融合 处于中间层次融合的 这种地位
    • 本质就是 基于已有特征集合 生成 新的更鲁棒更精确全面 的特征
      在这里插入图片描述

现状 ( < 2017)

  • 贝叶斯决策理论1:总结了乘法规则、加法规则、最大规则、最小规则、中位数规则、多数票规则等经典的融合规则
  • 基于联合稀疏表示的特征级融合方法2:
  • 稀疏核降秩回归模型3 ( SKRRR, sparse kernel reducedrank regression)
  • 图像检索中的重排序( re-ranking) 问题中4
  • balaba (介绍了 视频处理的涉及特征融合的 算法 雨女无瓜)
  • 总结特征融合的研究现状:
    • 基于贝叶斯决策理论的算法, 它的基础是统计推断和估计理论, 这类算法目的在于求解联合概率密度;
    • 基于稀疏表示理论的算法, 这类算法通常与最优化理论相结合, 将
      特征融合问题转化为优化问题, 进而求解联合稀疏表示来达到融合目的;
    • 基于深度学习理论的算法, 这种算法的主要思想是在深度卷积神经网
      络中加入特征融合过程, 以改进网络模型.

算法

基于贝叶斯理论的特征融合算法

决策级水平融合(*)

  • 该理论先从决策级发展出来的,一句话,取后验概率最大的类别标签作为最终 类别
  • x:分类器输出结果;w:分类标签
    x → ω j , if  F ( ω j ) = max ⁡ k = 1 , ⋯ , C P ( ω k ∣ x ) P ( ω k ∣ x 1 , ⋯ , x M ) = p ( x 1 , ⋯ , x M ∣ ω k ) p ( ω k ) p ( x 1 , ⋯ , x M ) \begin{aligned} & x \rightarrow \omega_{j}, \\ \text { if } F\left(\omega_{j}\right) &=\max _{k=1, \cdots, C} P\left(\omega_{k} \mid x\right) \end{aligned} \\ P\left(\omega_{k} \mid \boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{M}\right)=\frac{p\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{M} \mid \omega_{k}\right) p\left(\omega_{k}\right)}{p\left(\boldsymbol{x}_{1}, \cdots, \boldsymbol{x}_{M}\right)}  if F(ωj)xωj,=k=1,,CmaxP(ωkx)P(ωkx1,,xM)=p(x1,,xM)p(x1,,xMωk)p(ωk)
  • 防止除0,直接取对数:
    Z → ω j if  F ( ω j ) = max ⁡ k = 1 [ ( 1 − M ) P ( ω k ) + ∑ i = 1 M P ( ω k ∣ x i ) ] \begin{array}{c} Z \rightarrow \omega_{j} \\ \text { if } F\left(\omega_{j}\right)= \\ \max _{k=1}\left[(1-M) P\left(\omega_{k}\right)+ \sum_{i=1}^{M} P\left(\omega_{k} \mid x_{i}\right)\right] \end{array} Zωj if F(ωj)=maxk=1[(1M)P(ωk)+i=1MP(ωkxi)]
  • 先验后验近似相等情况下,认为:
    P ( ω k ∣ x k ) = P ( ω k ) ( 1 + δ k i ) P\left(\omega_{k} \mid \boldsymbol{x}_{k}\right)=P\left(\omega_{k}\right)\left(1+\delta_{k i}\right) P(ωkxk)=P(ωk)(1+δki)
  • 搞一堆公式,最后发现,近似取 P ( ω k ) P\left(\omega_{k}\right) P(ωk) 最大的标签就完事了!

特征级水平融合

  • 由于分类器独立性假设与先验概率和后验概率近似相等假设都有相应的成立条件, 在各种应用情景中不一定完全成立, 尤其是 分类器独立性假设在许多分类问题中都难以成立.
  • 线性特征依赖模型5:该算法将特征量的每个维度都看作一个分类器, 致使运算时间复杂度较高, 有待改进. 评价:卵用没有

基于稀疏表示理论的特征融合算法

  • 稀疏表示理论是信号处理领域的一种基础理论, 它的基本思想是使用数据稀疏性这一先验知识,从一个超完备字典中找到尽可能少的原子对目标信号进行线性表示.
    min ⁡ ∥ x ∥ 0 s.t.  A x = b \begin{array}{l} \min \|\boldsymbol{x}\|_{0} \\ \text { s.t. } \boldsymbol{A x}=\boldsymbol{b} \end{array} minx0 s.t. Ax=b
  • A是字典,b是特征
  • 学习 稀疏表示矩阵x
  • 显然稀疏表达的效果好坏和我们用的字典有着密切的关系。字典分两类,一种是预先给定的分析字典,比如小波基、DCT等,另一种则是针对特定数据集学习出特定的字典。这种学出来的字典能大大提升在特定数据集的效果。

基于深度学习的特征融合算法

偏传统的特征融合方法6

  • 下图这种方法,可以作为毕设中 偏机器学习特征融合算法的 补充
    在这里插入图片描述
    在这里插入图片描述
  • 直接用全连接层,这种方法需要你手动框选出一些目标区域和(背景/Distractor)作为样本,上述是一种 图像分类网络,只不过特征是手动设计的
  • 类似的,可以采用随机森林替代全连接层

一些多模态特征融合的思路方法7

基于线性规划模型

  • 线性分类器, y ( x ) = w T ⋅ x + c y(\mathbf{x})=w^{T} \cdot \mathbf{x}+c y(x)=wTx+c
  • 建模成为一个具有稀疏性的线性规划模型,并从最大间隔原理、稀疏性和松弛变量三个方面,分别详细地阐述和分析该学习方法的原理和作用。
  • 作者就是在把 SVM写了一遍 … …
  • 这里还是做了一个分类器,直接就是线性分类器,权重w就是在表示 改特征的重要性!

基于稀疏高维映射

在这里插入图片描述

  • 乱七八糟,不知所云

Adaboost 算法其实也可以看成是一种特征融合的算法

字典学习 系数表示 特征融合

  • 多特征联合稀疏表示人脸表情识别方法8 Page 34
    在这里插入图片描述

  1. Kittler J, Hatef M, Duin R P W, et al. On combining classifiers[J]. IEEE transactions on pattern analysis and machine intelligence, 1998, 20(3): 226-239. ↩︎

  2. Shekhar S, Patel V M, Nasrabadi N M, et al. Joint sparse representation for robust multimodal biometrics recognition[J]. IEEE Transactions on pattern analysis and machine intelligence, 2013, 36(1): 113-126. ↩︎

  3. Yan J, Zheng W, Xu Q, et al. Sparse kernel reduced-rank regression for bimodal emotion recognition from facial expression and speech[J]. IEEE Transactions on Multimedia, 2016, 18(7): 1319-1329. ↩︎

  4. Bai S, Bai X. Sparse contextual activation for efficient visual re-ranking[J]. IEEE Transactions on Image Processing, 2016, 25(3): 1056-1069. ↩︎

  5. A. J. Ma, P. C. Yuen and J. Lai, “Linear Dependency Modeling for Classifier Fusion and Feature Combination,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 5, pp. 1135-1148, May 2013, doi: 10.1109/TPAMI.2012.198. ↩︎

  6. 面向目标识别的多特征融合研究与实现 ↩︎

  7. 基于特征层与分数层的多模态生物特征融合 ↩︎

  8. 多特征融合人脸表情识别方法研究_丁泽超 ↩︎

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/40649.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学习笔记:多模态

1.多模态数据&#xff1a; 不同的存在形式或信息来源均可被称之为一种模态。由两种或两种以上模态组成的数据称之为多模态数据&#xff08;多模态用来表示不同形态的数据形式&#xff0c;或者同种形态不同的格式&#xff0c;一般表示文本、图片、音频、视频、混合数据&#xf…

多模态 跨模态|人机交互新突破!

我们对世界的认知和体验是多模式的&#xff0c;我们看向窗外&#xff0c;听到雨滴&#xff0c;闻到青草的味道&#xff0c;触摸到木板的纹理... 某种意义上来说&#xff0c;AI 就是赋予机器类人的感知和智慧&#xff0c;想要让 AI 理解我们周围的世界&#xff0c;它需要同时解释…

基于LLMs的多模态大模型(Visual ChatGPT,PICa,MM-REACT,MAGIC)

当LLMs已经拥有了极强的对话能力后&#xff0c;如何使其拥有视觉和语音等多模态能力是紧接而来的热点&#xff08;虽然GPT4已经有了&#xff09;&#xff0c;这个系列将不定期更新一些利用LLMs做多模态任务的文章。 直觉上&#xff0c;如果直接训练一个类似chatgpt架构的多模态…

2021年5月9日,是第108个母亲节,祝福所有的母亲节日快乐

2021年5月9日&#xff0c;是第108个母亲节&#xff0c;祝福所有的母亲节日快乐 2021年5月9日&#xff0c;是第108个母亲节&#xff0c;放下你手里的所有事情&#xff0c;哪怕是几分钟&#xff0c;给妈妈打一个电话吧&#xff0c;分享一下你最近的酸甜苦辣。 或许你忙到没有准备…

母亲节:向世界上最伟大的母爱致敬

在这世间众多的亲情关系中&#xff0c;有一种关系无与伦比&#xff0c;毫不费力地凌驾于其他任何已知的地球关系之上。这种非凡的关系就是母亲与子女之间的关系。 母亲对家庭无尽的爱、奉献和忠诚使这份感情无价。为了向全球所有母亲表示敬意&#xff0c;母亲节在世界46个国家庆…

原来程序员的母亲节可以这样温馨!

致我的可爱老妈 嗨&#xff0c;忙碌的程序员宝宝们&#xff0c;记得母亲节快要来了吗&#xff1f; 在老妈眼里&#xff0c;你一出生&#xff0c;她就觉得你是一个天才。无论你的代码写得多好看&#xff0c;老妈看不懂你的代码&#xff0c;在老妈的世界里&#xff0c;她会跳很带…

母亲节到了,写一个简单的C++代码给老妈送上一个爱心祝福

&#x1f34e; 博客主页&#xff1a;&#x1f319;披星戴月的贾维斯 &#x1f34e; 欢迎关注&#xff1a;&#x1f44d;点赞&#x1f343;收藏&#x1f525;留言 &#x1f347;系列专栏&#xff1a;&#x1f319; C/C专栏 &#x1f319;请不要相信胜利就像山坡上的蒲公英一样唾…

【母亲节快乐】程序员的表达方式,了解一下?

热门文章 原创教程 原创教程&#xff1a; 附加习题&#xff1a; 趣味职场 培训费用&#xff1a; 合作推广分割线

母亲节

母亲节 目录 母亲节&#xff08;Mothers Day&#xff09; 起源(origin) 习俗(habit&custom) 世界各国庆祝母亲节的时间都不尽相同 献给母亲的花(flowers to my mother) 名人称赞母亲的十大名言 母亲节&#xff08;Mothers Day&#xff09;   母亲节作为一个感谢 母亲的节…

母亲节祝福html源码,母亲节祝福html代码,母亲节表白妈妈代码,母亲节祝福网页代码

母亲节祝福html源码&#xff0c;母亲节祝福html代码&#xff0c;母亲节表白妈妈代码&#xff0c;母亲节祝福网页代码 运行截图 核心代码&#xff1a; <!DOCTYPE HTML> <html lang"zh-Hans"> <head><meta charset"utf-8"><meta…

母亲节到了,用Python给老妈写个祝福小程序~

母亲节就要到了&#xff0c;不知各位伙伴有没有给老妈准备礼物呢&#xff1f; 微信公众号原文链接 今天&#xff0c;小笨聪给大家分享一个母亲节祝福的小程序&#xff0c;就像情人节女神节这样的&#xff0c;下面让我们愉快的开始吧&#xff01; 我们先看一下效果&#xff1a; …

母亲节不能陪在妈妈身边,我用css和js给妈妈做了一个爱心飘落

写在前面&#xff1a; 我是「扬帆向海」&#xff0c;这个昵称来源于我的名字以及女朋友的名字。我热爱技术、热爱开源、热爱编程。技术是开源的、知识是共享的。 这博客是对自己学习的一点点总结及记录&#xff0c;如果您对 Java、算法 感兴趣&#xff0c;可以关注我的动态&am…

妇女节到了,祝福所有女神 Happy Women‘s Day!

在每年&#xff13;月&#xff18;日人们庆祝妇女节 &#xff37;omens Day is cllebrated on March 8 every year. 国际妇女节(IWD)&#xff0c;中国内地称“三八”国际劳动妇女节或国际劳动妇女节。是在每年的3月8日为庆祝妇女在经济、政治和社会等领域作出的重要贡献和取得…

简单的python小程序祝福母亲,母亲节快乐!

简单的python小程序祝福母亲&#xff0c;母亲节快乐&#xff01; 今天是星期天&#xff0c;也是母亲节&#xff0c; 不禁意识到二十二岁的我如此年轻&#xff0c;四十多岁的母亲似乎不再年轻。 今天编写了一个简单的python小程序。 代码如下&#xff0c;仅供参考。 import …

母亲节快乐!程序员们也不要忘记把这份礼品送给母亲

母亲节快乐&#xff08;Happy Mothers Day&#xff09; 母亲节快乐&#xff01; 在这个特别的日子里&#xff0c;让我们一起庆祝母亲节。母亲是世界上最伟大的人&#xff0c;她们无私地付出&#xff0c;照顾我们的成长和幸福。母亲节是一个特别的机会&#xff0c;让我们向妈妈…

母亲节送什么礼物?ChatGPT4给你最佳建议

母亲节就快来了&#xff0c;母亲节是一年一度的特别节日&#xff0c;我们可以借此机会表达我们对妈妈的感激之情。但是&#xff0c;对于我们来说&#xff0c;选择一份特别的礼物来表达我们的感激和爱意是一件很困难的事情。毕竟&#xff0c;我们的妈妈们已经给予我们无私的关爱…

今天女神节,用python画个贺卡送给母亲吧

今天女神节&#xff0c;你给女神妈妈准备了什么祝福呢&#xff1f;如果还没有&#xff0c;那么画个贺卡送给她吧&#xff0c;在你眼里&#xff0c;她是一个什么样的人呢&#xff1f; 是"可爱"&#xff0c;“温柔”&#xff0c;“美丽”&#xff0c;“漂亮”&#xf…

母亲节快到啦 咱们今天用 Python 提前送上特殊的 母亲节祝福 吧

母亲节快到啦&#xff0c;做儿女的自然要为母亲送上节日的祝福&#xff0c;如果自己在母亲身边的话&#xff0c;可以直接说几句祝福的话以及送一些小礼物什么的&#xff0c;要是不在母亲身边的话&#xff0c;可以打个电话问候一下。 相关文件 小伙伴们可以关注小编的Python源…

祝老妈母亲节快乐的三段小程序

今天是2020年5月10日——母亲节。又到了一年一度忧愁给麻麻送什么礼物的时候。钱少买不到好礼物&#xff0c;钱多又怕她说“净乱花钱&#xff01;[&#xff40;Д]老妈给你的生活费不想要了&#xff1f;” 作为一个没有实现财务自由的学生党&#xff0c;最好的方法就是榨取自己…

Python程序猿/媛如何在母亲节表达对母亲的祝福

母亲节 母亲节&#xff08;Mother’s Day&#xff09;&#xff0c;是一个感谢母亲的节日。这个节日的传统起源于古希腊&#xff1b;而现代的母亲节起源于美国。日期每年5月的第二个星期日。今年的母亲节在2017年5月14日。 以下是使用python3 中的线程和协程实现了成长的过程&…