Uncertainty-Aware Mean Teacher(UA-MT)

Uncertainty-Aware Mean Teacher

  • 0 FQA:
  • 1 UA-MT
    • 1.1 Introduction:
    • 1.2 semi-supervised segmentation
    • 1.3 Uncertainty-Aware Mean Teacher Framework
  • 参考:

0 FQA:

Q1: 不确定感知是什么意思?不确定信息是啥?
Q2:这篇文章的精妙的点在哪?
Q3:MC dropout可以用在分类上面吗?因为原文是用在分割上面的。
Q4:mc dropout是放在哪里? 放在教师上还是学生上?为什么?
Q5: 怎么保留低不确定性,和怎么利用高不确定性的呢
Q6: **不确定图是啥? 怎么生成的? **

A2: 概括来看,这篇文章就是改进了一下无标签的一致性损失函数。 这篇文章的精妙点在于,通过教师的mc dropout来估计每个目标预测的不确定性,在估计不确定性的指导下,计算一致性损失时过滤掉不可靠的预测,只保留可靠的预测。 让学生从教师的可靠的知识中学习,增加教师知识的可靠性。 其实就是多输出几次结果,然后取均值的感觉,然后避免网络的误差。
A3:理论上感觉是可以的,因为mc dropout 就相当于多推理几次,可能不同的点在于如何计算不确定性图。因为分割是体积,而分类是分类结果。
A4: 通过mc 让
教师更加确信自己教的知识
,学生也会学的更好。
A6: 其实也没有啥不确定性图,只不过是为了掩饰mc 之后出来的东西。其实就是多了一个计算熵值的步骤。有了这个map 看起来更加花里胡哨。

1 UA-MT

论文完整标题:Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation

代码:https://github.com/yulequan/UA-MT

1.1 Introduction:

本文提出了一种新的基于不确定性的半监督学习框架(UA-MT),通过额外利用未标记的数据从3D MR图像中分割左心房。和Mean Teacher模型一样,该方法鼓励分割预测在相同输入的不同扰动下保持一致。
具体地说,本文建立了一个教师模型和一个学生模型,学生模型通过最小化标注数据上的分割监督损失和所有输入数据上的与教师模型预测输出的一致性损失进行优化。
但未标注的输入中没有提供ground truth,教师模型中的预测目标可能不可靠且有噪声。在这方面,我们设计了(UA-MT)框架,学生模型通过利用教师模型的不确定性信息,逐渐从有意义和可靠的目标中学习。除了生成目标输出,教师模型还通过Monte Carlo Dropout 估计每个目标预测的不确定性。在估计不确定性的指导下,计算一致性损失时过滤掉不可靠的预测,只保留可靠的预测(低不确定性)。因此,学生模型得到了优化,得到了更可靠的监督,并反过来鼓励教师模型生成更高质量的目标。

image.png

1.2 semi-supervised segmentation

半监督分割:EMA:
有监督损失,无监督一致性损失;

在这里插入图片描述

1.3 Uncertainty-Aware Mean Teacher Framework

如果没有未标记输入中的注释,教师模型的预测目标可能不可靠且有噪声。因此,我们设计了一种不确定性感知方案,使学生模型能够逐渐从更可靠的目标中学习。给定一批训练图像,教师模型不仅生成目标预测,还估计每个目标的不确定性。然后通过一致性损失来优化学生模型,该模型在估计不确定性的指导下仅关注置信目标

Uncertainty Estimation:受贝叶斯网络中不确定性估计的启发,我们使用蒙特卡罗 Dropout 来估计不确定性
在随机 dropout 下对教师模型执行 T 次随机前向传递,并为每个输入量输入高斯噪声。
因此,对于输入中的每个体素,我们获得一组softmax概率向量:{pt}_t *T。我们选择 预测熵 作为近似不确定性的度量,因为它有一个固定的范围[8]。
采用
预测熵
,作为度量方式来近似获取到不确定性:UAMT 算法过滤掉分割预测中不确定值较高的像素,仅保留可信的像素作为学生模型学习的目标

image.png
其中 ptc 是第 t 次预测中第 c 个类别的概率。请注意,不确定性是在体素水平上估计的,整个体积** U 的不确定性**是 {u} ∈ RH×W ×D。

Uncertainty-Aware Consistency Loss.:在估计不确定性 U 的指导下,我们过滤掉相对不可靠**(高不确定性)的预测,并仅选择某些预测作为学生模型学习的目标。特别是,对于我们的半监督分割任务,我们将不确定性感知一致性损失 Lc 设计为教师和学生模型的体素级均方误差(MSE)损失**,仅用于最确定的预测:

过滤掉高不确定性的,也就是熵大于某个值的。熵值越大,不确定性越高。

在这里插入图片描述

式中,I(·)为指示函数; f ′ v 和 fv 分别是教师模型和学生模型在第 v 个体素处的预测; uv 是第 v 个体素处的估计不确定性 U; H是选择最确定目标的阈值。
通过我们在训练过程中的不确定性感知一致性损失,学生和教师都可以学到更可靠的知识,从而减少模型的整体不确定性。

参考:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/264163.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

成都爱尔眼科胡建斌院长提醒眼底病,年轻人也得小心!

眼底病并非老年才会发生,现在很多人还很年轻就已检查出眼底病。明明年轻人代谢、免疫力都还挺好为什么会得眼底病啊? 眼底病是一大类眼部疾病的总称,眼科常见病之一,病变范围十分广泛。 眼球前面的角膜、晶体等,被称…

Python高性能web框架--Fastapi快速入门

文章目录 fastapi框架一、预备知识点1.1、http协议一、简介二、 http协议特性三、http请求协议与响应协议 1.2、api接口 二、quick start简单案例 fastapi框架 Fastapi,一个用于构建 API 的现代、快速(高性能)的web框架。 fastapi的两个核心…

Maven【1】(命令行操作)

文章目录 一丶创建maven工程二、理解pom.xml三、maven的构建命令1.编译操作2.清理操作3.测试操作4.打包操作5.安装操作 一丶创建maven工程 首先创建这样一个目录,然后从命令行里进入这个目录: 然后接下来就在这个命令行里进行操作了。 这个命令是&…

【Java程序设计】【C00317】基于Springboot的智慧社区居家养老健康管理系统(有论文)

基于Springboot的智慧社区居家养老健康管理系统(有论文) 项目简介项目获取开发环境项目技术运行截图 项目简介 这是一个基于Springboot的智慧社区居家养老健康管理系统设计与实现,本系统有管理员、社区工作人员、医生以及家属四种角色权限 管…

C#学习总结

1、访问权限 方法默认访问修饰符:private 类默认访问修饰符:internal 类的成员默认访问修饰符:private 2、UserControl的使用 首先添加用户控件 使用时一种是通过代码添加,一种是通过拖动组件到xaml中

C++ Webserver从零开始:代码书写(十二)——双向链表处理非活动连接

前言 大家好,如题,今天我们来写定时器的代码。更正一下上一章的结束语哈哈哈,因为我发现相比于线程池,定时器类是相对底层的东西。不知道大家有没有玩过有建筑系统的游戏,比如mc,幻兽帕鲁这些,在…

芯片开发erp软件有哪些优势?

随着科技的飞速发展,芯片开发行业正逐渐成为推动科技进步的关键力量。在这一领域中,企业资源规划(ERP)软件的应用正逐渐普及,为芯片开发企业带来了许多显著的优势。下面,我们将详细介绍芯片开发ERP软件的优势。 一、提升管理效率 …

蓝桥杯-答疑

原题链接:用户登录 答疑 题目描述 有 n 位同学同时找老师答疑。每位同学都预先估计了自己答疑的时间。 老师可以安排答疑的顺序,同学们要依次进入老师办公室答疑。一位同学答疑的过程如下 1.首先进入办公室,编号为 的同学需要 s,…

如何在本地部署密码管理软件bitwarden并结合cpolar实现远程同步

文章目录 1. 拉取Bitwarden镜像2. 运行Bitwarden镜像3. 本地访问4. 群晖安装Cpolar5. 配置公网地址6. 公网访问Bitwarden7. 固定公网地址8. 浏览器密码托管设置 Bitwarden是一个密码管理器应用程序,适用于在多个设备和浏览器之间同步密码。自建密码管理软件bitwarde…

数据安全之路:深入了解MySQL的行锁与表锁机制

欢迎来到我的博客,代码的世界里,每一行都是一个故事 数据安全之路:深入了解MySQL的行锁与表锁机制 前言基础innodb中锁与索引的关系如何避免表锁 前言 在当今数据密集的应用中,数据库锁成为了确保数据一致性和并发操作的关键工具…

【Spring MVC】处理器映射器:AbstractHandlerMethodMapping源码分析

目录 一、继承体系 二、HandlerMapping 三、AbstractHandlerMapping 四、AbstractHandlerMethodMapping 4.1 成员属性 4.1.1 MappingRegistry内部类 4.2 AbstractHandlerMethodMapping的初始化 4.3 getHandlerInternal()方法:根据当前的请求url,…

前端学习——JS学习

文章目录 1. 定义变量,关键字 var、let、const2. 定义变量,数据类型3. 数组变量的操作4. 对象的操作5. JSON 字符串 1. 定义变量,关键字 var、let、const 这里主要是对var、let做比较 /** 1. var存在变量提升、let不存在变量提升 **/ cons…

WordPress使用

WordPress功能菜单 仪表盘 可以查看网站基本信息和内容。 文章 用来管理文章内容,分类以及标签。编辑文章以及设置分类标签,分类和标签可以被添加到 外观-菜单 中。 分类名称自定义;别名为网页url链接中的一部分,最好别设置为中文…

自然语言处理(NLP)—— 神经网络自然语言处理(2)实际应用

本篇文章的第一部分是关于探索词嵌入(word embedding)向量空间。词嵌入是一种语言模型和文本表示技术,其中单词或短语从词汇表被映射到向量的高维空间中。通过这种方式,可以通过计算向量之间的距离来捕捉单词之间的语义关系。 1.…

8.9 矢量图层点要素热度图(Heatmap)使用

文章目录 前言热度图(Heatmap)QGis代码实现 总结 前言 本章介绍如何使用热度图(Heatmap)说明:文章中的示例代码均来自开源项目qgis_cpp_api_apps 热度图(Heatmap) 热度图以颜色代表点密度&…

python自带轻量级键值数据库shelve

使用python自带的shelve模块,可以作为轻量级的键值数据库,在使用时可以像字典一样使用: 使用shelve模块的流程如下: 示例程序 import pandas as pd import shelve import numpy as npdef main():_shelve_file "shelve_fi…

常见的音频与视频格式

本专栏是汇集了一些HTML常常被遗忘的知识,这里算是温故而知新,往往这些零碎的知识点,在你开发中能起到炸惊效果。我们每个人都没有过目不忘,过久不忘的本事,就让这一点点知识慢慢渗透你的脑海。 本专栏的风格是力求简洁…

office word保存pdf高质量设置

1 采用第三方pdf功能生成 分辨率越大质量越好

Nginx网络服务三-----(三方模块和内置变量)

1.验证模块 需要输入用户名和密码 我们要用htpasswd这个命令,先安装一下httpd 生成文件和用户 修改文件 访问页面 为什么找不到页面? 对应的路径下,没有这个文件 去创建文件 去虚拟机浏览器查看 有的页面不想被别人看到,可以做…

亚马逊测评 能让买家更快速的喜欢上你的产品,提高转化率

在当今的电子商务时代,亚马逊作为全球最大的在线零售商之一,已经成为了消费者购买各种商品的首选平台。然而,对于消费者来说,如何选择适合自己的产品成为了他们面临的一大难题。因此,本文将介绍亚马逊上如何让买家通过…