【论文复现】自动化细胞核分割与特征分析

本文所涉及所有资源均在这里可获取。

在这里插入图片描述

作者主页: 七七的个人主页
文章收录专栏: 论文复现
欢迎大家点赞 👍 收藏 ⭐ 加关注哦!💖💖

自动化细胞核分割与特征分析

  • 引言
  • 效果展示
  • HoverNet概述
  • HoverNet原理分析
    • 整体网络框架
    • 实例分割原理
    • HoverNet评估结果
  • 复现过程
  • 细胞核特征应用说明
  • 参考文献
  • 总结
  • 备注

本文所涉及所有资源均在这里可获取。

引言

细胞核分割和分类在医学研究和临床诊断中具有重要意义。精准的细胞核分割能够帮助医生更好地识别和分析细胞核的形态学特征,从而辅助疾病诊断、癌症检测以及药物研发。HoverNet是一种基于深度学习的先进网络模型,能够同时执行细胞核分割与分类任务。除了分割和分类,提取细胞核的特征,如面积、半径和形状等,可以进一步分析细胞核的特性,这在肿瘤研究、病理分析等领域具有现实意义。

本文将实现基于Pytorch框架实现HoverNet细胞核的分割和分类,并且基于此自行完成了对细胞核特征提取,用于医学上的相关分析。同时也可以用于计算病理学相关文章的可解释性分析。

本文能够实现从细胞核分割和分类到提取细胞核相关特征全自动化。以及最后分析了提取到的细胞核特征可以有哪些应用(主要是进行了举例说明)。

效果展示

在这里插入图片描述

HoverNet概述

HoVer-Net是一种精心设计的多分支深度学习网络架构,专为处理复杂的多组织显微图像中的细胞核实例分割与精确分类任务而开发。该网络通过创新的策略,不仅有效解决了细胞核在密集聚集区域难以准确区分的问题,还实现了对每个独立细胞核类型的细致分类。
此外,HoVer-Net还引入了专门的上采样分支,这一设计旨在对每个成功分割出的细胞核实例进行进一步的核类型分类。这一分支利用高级语义信息,结合精心设计的分类策略,能够准确判断每个细胞核的所属类型,为医学研究提供了宝贵的细胞水平信息。
在这里插入图片描述

HoverNet原理分析

整体网络框架

上图中展示了整体的网络框架。HoverNet使用了一个深度神经网络来提取图像中的重要特征。这个网络是基于一个叫做“预激活残差网络”(Preact-ResNet50)的模型,但为了保留更多的细节信息,对这个模型做了一些调整,比如减少了图像缩小的次数。然后,网络通过三个不同的分支来处理图像:

核像素分支(NP分支):判断每个像素是否属于核(细胞核)还是背景。
HoVer分支:计算核像素到其中心的水平和垂直距离。这有助于将紧挨在一起的核分开。
核分类分支(NC分支):根据前两个分支的信息,进一步确定每个核的类型。
这样设计整体网络结构能够提高模型性能和效率主要是:

  1. 上采样分支的架构设计
    每个上采样分支都是通过一系列的上采样操作和“密集连接单元”来构建的。你可以把“密集连接单元”想象成一组很小且廉价的计算模块,堆叠多个这样的模块能够使模型获得更大的视野范围(即感受野),并且所需的计算参数更少。这种方式相比直接使用大卷积核的单一操作,更高效地传播梯度,帮助模型更好地训练,如图中Upsample模块。
  2. 跳跃连接与特征融合
    在模型中,通过跳跃连接(类似于在建筑中搭桥梁)将编码器(负责特征提取的部分)中的信息传递到上采样部分。这里,模型使用了“加法”而不是“拼接”的方式来融合这些信息。这种方法特别有助于图像分割任务,因为它能更精确地描绘出物体的边界。
  3. 有效卷积与边界预测
    在上采样过程中,使用了“有效卷积”来确保边界的预测结果不会出现问题。由于这种卷积操作,输出图像的尺寸会比输入图像小一些。
  4. 共享编码器
    与其为每个任务(比如分割和分类)创建单独的网络,不如使用一个共享的编码器(特征提取部分),这样可以同时训练分割和分类任务的模型。这不仅减少了训练时间,还能利用不同任务间的共享信息,提升整体性能。
  5. 根据标签调整模型
    模型可以根据是否有核的分类标签来调整其工作方式。如果没有分类标签,模型只会执行分割任务;如果有分类标签,则会同时进行分割和分类。

这个方法确保不仅能准确分割出每个核,还能正确分类它们的类型。在这里HoVer分支是这篇文章能够取得非常好的重要原因之一。

实例分割原理

HoVer分支分支使用水平和垂直距离来帮助分开紧挨在一起的细胞核,其背后的原理是利用了这些距离信息来识别和分离相邻的核。如下图:在这里插入图片描述
具体来说,HoVer分支会计算每个核像素到其质心(核的中心点)的水平和垂直距离。这些距离信息有助于在以下几个方面起作用:

识别边界:当两个或多个核紧挨在一起时,常常会导致它们的边界变得模糊,难以区分。通过计算每个像素到质心的水平和垂直距离,可以更清晰地确定哪些像素更接近哪个质心。这有助于识别核的实际边界。

分离相邻核:对于相邻的核,HoVer分支生成的距离图会在这些核的交界处表现出显著的变化。因为每个核的质心不同,越靠近核质心的像素,其水平和垂直距离会变得更小,而靠近核边界的像素,这些距离值会变得不一致或剧烈变化。因此,利用这些距离信息可以有效地分离出紧挨在一起的核。

避免错误合并:传统的分割方法可能会错误地将相邻的核合并成一个整体,而HoVer分支通过分析这些距离,确保每个核都能被正确地分离和识别,而不会被错误地合并。

可以这么通俗的解释:假设你有两个紧挨在一起的圆形气球,每个气球代表一个细胞核。你站在气球的中心点,然后开始测量从你到每个气球表面上不同点的水平和垂直距离。你会发现,越靠近你的位置,这些距离越小,越远的地方距离越大。
如果两个气球挤得很近,两个气球之间的距离会突然发生变化,因为你从一个气球的中心移动到了另一个气球的区域。HoVer分支做的事情就是检测出这些突然变化的地方,并用它来判断这是两个不同的气球(或细胞核),而不是一个大气球(或核)。
所以,通过分析每个像素到其中心的水平和垂直距离,HoVer分支就能确定哪些像素属于哪个细胞核,从而把两个紧挨在一起的细胞核正确地分开,不会把它们混为一谈。

HoverNet评估结果

不同数据集得到的分割和分类结果。
在这里插入图片描述
不同数据集不同模型评估指标对比。在这里插入图片描述

复现过程

源码获取:
可以通过这个链接从github上下载:https://github.com/vqdang/hover_net。但是,从这里下载的链接并没有提供模型的预训练权重,需要自己寻找。所以建议可以直接下载我提供的附件。附件如图:
在这里插入图片描述
那么在这个附件中是有预训练权重的。
2.环境配置:

创建环境

conda env create -f environment.yml

利用conda这一开源的、强大的包与环境管理工具,可以方便地设置、运行及更新软件包及其依赖项。为了创建一个新的Python环境,可以执行conda env create命令,并借助-f选项指定一个名为environment.yml的配置文件。这个文件详细列出了新环境所需的所有软件包及其特定版本,从而确保环境的一致性和可重复性。从下图可以看到虽然创建以基本的HoverNet环境,但是没有pytorch。
在这里插入图片描述
所以需要自行在创建的环境中安装一个基于cuda的pytorch。

激活环境
conda activate hovernet

安装pytorch
pip install torch1.6.0+cu118 torchvision0.15.1+cu118 torchaudio==1.6.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html

这里pytorch的安装可以参考官网,根据自己的显卡版本安装。

代码库结构:
下面是这个项目代码库的主要目录和文件的详细解释:
代码库结构在附件中的这个文件夹下:ExtractCellularFeatureFrompng

dataloader:包含数据加载器和数据增强流程的代码。数据加载器负责从存储介质中读取数据并将其组织成适合模型训练和推理的格式。
models:包含模型定义、主要运行步骤和超参数设置。这是定义神经网络结构、选择损失函数、优化器等核心组件的地方。
dataset:主要用户存放输入图像和输出的文件(包括分割后的图片,细胞轮廓等)。
run_utils:定义训练/验证循环和回调函数。训练循环是模型学习数据的过程,而回调函数可以在训练过程中的特定时刻执行额外的操作,如保存模型、打印日志等。
run_tile.sh:用于进行分割组织病理学图像中的肿瘤区域的patch。
run_wis.sh:用于进行分割整个组织病理学图像的细胞。
cell_seg_feature.py:提取分割好的细胞核特征脚本。
ExtractCellularFeatureFromPng.sh:从分割分类到提取特征完整的脚本。
提取的细胞核特征种类:
在这里插入图片描述
在这里插入图片描述
在细胞生物学和医学成像领域,细胞形态的分析对于理解细胞的生理状态、病理变化以及细胞间的相互作用至关重要。为了精确描述和量化细胞形态,科学家们开发了多种形状描述符(也称为形态学参数)。这些描述符可以捕获细胞形态的关键特征,如大小、形状、边缘复杂度等。以下是15个常用的定量测量的形状描述符的概述,它们被广泛用于评估细胞形态。

提取细胞核特征过程:

def CalCellFeature(input_path,output_path):json_path = glob.glob(input_path + "/*.json")for json_file_path in json_path:cell_feature_data = []cell_type_list = []type_prob_list = []cell_centroid_list = []print("running:",json_file_path)G_name = os.path.basename(json_file_path)[:-5]with open(json_file_path, "r") as file:json_data = json.load(file)for key, value in json_data["nuc"].items():contour_data = value["contour"]cell_type = value["type"]type_prob = value["type_prob"]cell_centroid = value["centroid"]cell_type_list.append(cell_type)type_prob_list.append(type_prob)cell_centroid_list.append(cell_centroid)# 计算细胞轮廓图像的尺寸contour_width = max(point[0] for point in contour_data) + 1contour_height = max(point[1] for point in contour_data) + 1# 创建与细胞轮廓contour相同形状的二值图像contour_image = np.zeros((contour_height, contour_width), dtype=np.uint8)for point in contour_data:contour_image[point[1], point[0]] = 1# 使用measure.regionprops函数计算区域属性regions = measure.regionprops(contour_image)# 遍历每个区域
........

代码执行过程:
进入到ExtractCellularFeatureFrompng文件夹后,执行:

sh ExtractCellularFeatureFrompng.sh

Linux环境下,在Windows中不支持shell,当然也可以自行查看如何在Windows中使用shell。但是这个代码最好在有GPU的环境中运行。

结果文件:
在这里插入图片描述
图中的input_png是输入图片,可以更改为自己的数据;1:是HoverNet分割产生的结果文件,包括分割图和细胞轮廓。2:是细胞核特征提取产生的结果文件。里面包含了上述表格中的15个特征。产生的分割图和特征如下:在这里插入图片描述

在这里插入图片描述

细胞核特征应用说明

首先分析了提取到的面积(area)特征:它是细胞占据的二维空间大小,是评估细胞大小的基本参数。
将不同细胞的种类进行分组后得到的比较图如下:
在这里插入图片描述

由图可知,肿瘤细胞在面积上,或者说大小上与其他类型的细胞存在明显差异,(也即是肿瘤细胞更大)。这能够说明虽然单纯的肿瘤细胞面积大小并不能直接确定肿瘤的恶性程度,但通常来说,恶性程度较高的肿瘤细胞往往具有更大的面积和更强的侵袭性。
同时了解肿瘤细胞的形态和大小特征有助于医生制定更合适的治疗方案。如果肿瘤细胞面积较大且恶性程度高,可能需要采用更积极的治疗措施(如手术切除、化疗、放疗等)。

其次分析了提取到的凸包面积在不同类型细胞中的差异:能包含细胞所有点的最小凸多边形的面积,用于评估细胞的“外凸”程度。
在这里插入图片描述

由图可知肿瘤细胞的凸包面积比其他类型的细胞要大,这说明:肿瘤细胞的增殖活性增强,肿瘤细胞通常具有比正常细胞更快的增殖速度。凸面积的增大可能反映了肿瘤细胞在增殖过程中所占据的更大空间,这是其快速增殖的一个直接表现。细胞扩张快,随着肿瘤细胞的分裂和增殖,它们会不断扩张并占据更多的组织空间,从而导致凸面积的增大。

接着分析了提取到的等效直径equivalent diameter在不同类型细胞中的差异:具有与细胞相同面积的圆的直径,是另一种衡量细胞大小的参数。

在这里插入图片描述
很明显肿瘤细胞的该值也是比较大的,等效直径的增大可能是肿瘤细胞异型性的一种表现,反映了它们在生长过程中形态上的显著变化。其中异型性是指它们与正常细胞在形态和结构上的差异程度。

最后分析了肿瘤细胞和淋巴细胞的数量差异:
在这里插入图片描述
在该柱状图中,淋巴细胞的数量明显多于肿瘤细胞,这说明:淋巴细胞是免疫系统的重要组成部分,负责识别和清除外来病原体及异常细胞。当体内存在肿瘤细胞时,免疫系统会启动免疫应答,激活淋巴细胞以攻击和清除这些异常细胞。因此,淋巴细胞数量增多可能表明机体的免疫反应正在积极应对肿瘤细胞。

注:上述图像1,2,3来自我们运行后产生的test1.csv文件中的数据,图像4来自test2.csv产生的数据。所有图像的画法均来自该网站:https://hiplot.com.cn/cloud-tool/drawing-tool/list

参考文献

1.Graham S, Vu Q D, Raza S E A, et al. Hover-net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images[J]. Medical image analysis, 2019, 58: 101563.
2.Lu W, Toss M, Dawood M, et al. SlideGraph+: Whole slide image level graphs to predict HER2 status in breast cancer[J]. Medical Image Analysis, 2022, 80: 102486.

总结

HoverNet不仅提高了分割的精度,还通过多任务学习减少了模型的计算成本。这种高效的设计使HoverNet能够在各种细胞图像数据集上表现出色,特别是在复杂背景下的细胞核识别和分类中,展现出优越的鲁棒性和准确性。

此外,HoverNet的多任务架构允许它同时执行分割和分类操作,这一特点极大地简化了流程,使得在实际应用中能够更快速地获得全面的分析结果。尤其在临床诊断和病理分析中,这种高效的处理方式可以显著缩短分析时间,提升医疗效率。

在细胞特征提取方面,通过从分割后的细胞核中提取面积、半径、形状因子等几何特征,能够获得更加精细的细胞核信息。这些特征不仅可以用于肿瘤检测、细胞形态学分析,还能为进一步的生物学研究提供可靠的基础数据。例如,细胞核的面积和形状特征可以用来区分不同类型的癌细胞,帮助医生做出更准确的诊断。

提取这些特征进行了相关应用的演示,可以产生很多图片,不仅可以丰富论文内容,还可以为后续的机器学习或统计分析提供更丰富的数据支持,使得研究人员能够在更大范围内探讨细胞形态与疾病之间的关系。这种方法的优势在于,它将复杂的图像处理转化为更易理解和分析的数值数据,降低了进一步研究和应用的门槛。

备注

附件下载完成后,首先看ExtractCellularFeature.md,其次找到ExtractCellularFeatureFromPng.sh这个文件,该文档集成度非常高,只要环境配置没有问题,可以直接实现分割分类和细胞核特征提取。要了解详细过程请参考readme.md。

详细复现过程的项目源码、数据和预训练好的模型可从该文章下方链接获取:https://www.aspiringcode.com/content。

  关于 今天的文章七七就先分享到这里了,如果你认为这篇文章对你有帮助,请给七七点个赞吧,如果发现什么问题,欢迎评论区留言!!💕💕

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/466614.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ESP32 gptimer通用定时器初始化报错:assert failed: timer_ll_set_clock_prescale

背景:IDF版本V5.1.2 ,配置ESP32 通用定时器,实现100HZ,占空比50% 的PWM波形。 根据乐鑫官方的IDF指导文档设置内部计数器的分辨率,计数器每滴答一次相当于 1 / resolution_hz 秒。 (ESP-IDF编程指导文档&a…

Jest项目实战(4):将工具库顺利迁移到GitHub的完整指南

开源代码:将工具库迁移到GitHub 随着项目的成熟和完善,将其开源不仅可以获得更多的用户和贡献者,还能促进项目本身的发展。GitHub作为全球最大的开源协作平台,自然成为了大多数开发者的首选。本文将引导您完成将工具库迁移至GitH…

C#线程池

目录 前言 线程 线程池 线程池的工作原理 重要方法 C#线程池总结 前言 线程池是一种多线程处理形式,它允许开发者将任务添加到队列中,然后线程池会自动管理线程的创建、分配和回收,以执行这些任务。线程池中的线程都是后台线程&#xf…

SpringBoot项目集成ONLYOFFICE

ONLYOFFICE 文档8.2版本已发布:PDF 协作编辑、改进界面、性能优化、表格中的 RTL 支持等更新 文章目录 前言ONLYOFFICE 产品简介功能与特点Spring Boot 项目中集成 OnlyOffice1. 环境准备2. 部署OnlyOffice Document Server3. 配置Spring Boot项目4. 实现文档编辑功…

用示例来看C2Rust工具的使用和功能介绍

C2Rust可以将C语言的源代码转换成Rust语言的源代码。下面是一个简单的C语言代码示例&#xff0c;以及使用c2Rust工具将其转换为Rust安全代码的过程。 C语言源代码示例 // example.c #include <stdio.h>int add(int a, int b) {return a b; }int main() {int result a…

【IC验证】systemverilog的设计特性

systemverilog的设计特性 一.概述二.面向硬件的过程语句块1.说明2.always_comb2.always_latch3.always_ff 三.关系运算符1.说明2.例子 四.inside判定符1.说明2.例子 五.条件分支语句&#xff08;1&#xff09;说明&#xff08;2&#xff09;例子&#xff08;case和unique case的…

计算不停歇,百度沧海数据湖存储加速方案 2.0 设计和实践

数据湖这个概念&#xff0c;从 2012 年产生到现在已经有十余年的时间&#xff0c;每家公司对它内涵的解读都不太一样。但是数据湖的主要存储底座有从传统的 HDFS 向对象存储演进的趋势。 传统的大数据计算场景&#xff0c;比如 MapReduce、Spark、Hive 这些大数据组件都是基于…

信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)

1 编制目的 2 系统运行维护 2.1 系统运维内容 2.2 日常运行维护方案 2.2.1 日常巡检 2.2.2 状态监控 2.2.3 系统优化 2.2.4 软件系统问题处理及升级 2.2.5 系统数据库管理维护 2.2.6 灾难恢复 2.3 应急运行维护方案 2.3.1 启动应急流程 2.3.2 成立应急小组 2.3.3 应急处理过程 …

【网络面试篇】HTTP(2)(笔记)——http、https、http1.1、http2.0

目录 一、相关面试题 1. HTTP 与 HTTPS 有哪些区别&#xff1f; 2. HTTPS 的工作原理&#xff1f;&#xff08;https 是怎么建立连接的&#xff09; &#xff08;1&#xff09;ClientHello &#xff08;2&#xff09;SeverHello &#xff08;3&#xff09;客户端回应 &a…

使用文心快码生成口算题,妈妈再也不用担心我的学习了

2024年10月NJSD技术盛典暨第十届NJSD软件开发者大会、第八届IAS互联网架构大会在南京召开。百度文心快码总经理臧志分享了《AI原生研发新范式的实践与思考》&#xff0c;探讨了大模型赋能下的研发变革及如何在公司和行业中落地&#xff0c;AI原生研发新范式的内涵和推动经验。 …

C#笔记 —— 事件

事件的语法 访问修饰符 event 委托类型 事件名&#xff1b; 例&#xff1a; public event Action myEvent; 事件的使用 事件的使用跟委托基本上一模一样&#xff0c; 1.但是事件不能在类外部直接赋值&#xff0c;只能使用 或 - 添加或删除函数&#xff1b; 2.事件不能在类…

JavaScript3*3表格实现每次点击只红一行

<script> window.onload function () { var myTd document.getElementsByTagName("td"); var currentlyHighlightedRow null; // 用于存储当前高亮显示的行 for (var i 0; i < myTd.length; i) { myTd[i].onclick function () { …

物理验证Calibre LVS | SMIC Process过LVS时VNW和VPW要如何做处理?

SMIC家工艺的数字后端实现PR chipfinish写出来的带PG netlist如下图所示。我们可以看到标准单元没有VNW和VPW pin的逻辑连接关系。 前几天小编在社区星球上分享了T12nm ananke_core CPU低功耗设计项目的Calibre LVS案例&#xff0c;就是关于标准单元VPP和VBB的连接问题。 目前…

基于Spring Boot的船舶监造系统的设计与实现,LW+源码+讲解

摘要 近年来&#xff0c;信息化管理行业的不断兴起&#xff0c;使得人们的日常生活越来越离不开计算机和互联网技术。首先&#xff0c;根据收集到的用户需求分析&#xff0c;对设计系统有一个初步的认识与了解&#xff0c;确定船舶监造系统的总体功能模块。然后&#xff0c;详…

线性表之链表详解

欢迎来到我的&#xff1a;世界 希望作者的文章对你有所帮助&#xff0c;有不足的地方还请指正&#xff0c;大家一起学习交流 ! 目录 前言线性表的概述链表的概述 内容链表的结构链表节点的定义 链表的基本功能单向链表的初始化链表的插入操作头插操作尾插操作 链表的删除操作头…

Vue2 doc、excel、pdf、ppt、txt、图片以及视频等在线预览

Vue2 doc、excel、pdf、ppt、txt、图片等在线预览 安装使用目录结构直接上代码src\components\FileView\doc\index.vuesrc\components\FileView\excel\index.vuesrc\components\FileView\img\index.vuesrc\components\FileView\pdf\index.vuesrc\components\FileView\ppt\index…

全星魅-物联网定位终端-北斗定位便携终端-北斗有源终端

在当今快速发展的物流运输行业中&#xff0c;精准定位与实时监控已成为确保货物安全与高效运输的关键因素。为了满足这一需求&#xff0c;QMCZ10作为一款集4G&#xff08;LTE Cat1&#xff09;通讯技术与智能定位功能于一体的终端产品&#xff0c;应运而生。它不仅具备普通定位…

交换机属性-持久化和自动删除等

交换机属性-持久化和自动删除 1、交换机属性2、交换机(Exchange)的持久化属性2.1、RabbitConfig配置类&#xff08;关键代码&#xff09;2.2、发送消息2.3、启动类2.4、application.yml配置文件2.5、pom.xml配置文件2.6、测试 3、交换机(Exchange)的自动删除属性3.1、RabbitCon…

基于Prometheus的client_golang库实现应用的自定义可观测监控

文章目录 1. 安装client_golang库2. 编写可观测监控代码3. 运行效果4. jar、graalvm、golang编译运行版本对比 前文使用javagraalvm实现原生应用可观测监控&#xff1a; prometheus client_java实现进程的CPU、内存、IO、流量的可观测&#xff0c;但是部分java依赖包使用了复杂…

Unity3D UI 拖拽

Unity3D 实现 UI 元素拖拽功能。 UI 拖拽 通常画布上的 UI 元素都是固定位置的&#xff0c;我们可以通过实现拖拽接口&#xff0c;让 UI 元素可以被拖拽到其他位置。 拖拽接口 创建一个脚本 UIDrag.cs&#xff0c;在默认继承的 MonoBehaviour 后面&#xff0c;再继承三个接…