ScribblePrompt 的主要目标是简化医学图像的分割过程,这在肿瘤检测、器官轮廓描绘等应用中至关重要。相比依赖大量人工标注数据,该工具允许用户通过少量输入(例如简单的涂鸦或点位)来引导模型优化分割结果。这种方式减少了医学专家在图像标注上的时间和精力,同时确保了分割的准确性。
教程链接:https://go.openbayes.com/wtAnD
使用云平台:OpenBayes
http://openbayes.com/console/signup?r=sony_0m6v
登录到 OpenBayes 平台后,打开「公共教程」,找到「ScribblePrompt 医学图像分割工具」的教程。
进入到教程界面后,点击右上角「克隆」。
平台在克隆过程中以自动为我们配置好了模型文件,点击「下一步:选择算力」。
平台会自动选择合适的算力资源和镜像版本,这里使用的是英伟达 RTX 4090 的算力和 PyTorch 的镜像,按照需求选择「按量付费」或「包日/周/月」,点击「审核并执行」。可以使用文章开头的邀请链接,获得 RTX 4090 使用时长!
确认模型信息无误后,点击「继续执行」。
稍等片刻,待系统分配好资源,状态栏显示为「运行中」后,将鼠标悬停在 API 地址处,点击链接进入模型。进入 API 地址需要先进行实名认证~
官方已经为我们准备好了一个样例,如果想要上传本地图片,点击「Input Image」,将图片删除后,点击空白处即可上传。
该项目有 3 种标注方式,分别为「Scribbles」、「Clicks/Boxs」、「Bounding Box」,下面我们逐一进行演示。
1、「Scribbles」
点击「Scribbles」,使用绿色图标对我们希望检测的目标区域进行填涂,然后点击「Refresh Prediction」。
如果模型识别出来的区域不满足我们的预期,我们可以使用红色画笔对错误识别的部分进行填涂。
可以看到被红色画笔填涂的部分已从原图像中删除。
2、「Clicks/Boxs」
再该模式下我们可以使用点图的方式对图像进行目标区域的检测及切割。绿色会尝试识别所在区域器官,红色协助清除多余区域。点击「Clicks/Boxs」,使用绿色点图,尝试点击多个点位。
当模型错误地将相邻器官之间其他组织识别为器官的一部分时,使用红色点图来修正。
3.Bounding Box
选中「Bounding Box」,取消勾选「Auto-update prediction on clicks」,然后点击「Clicks/Boxs」。在该模式下,我们需要选出矩形的两个顶点,由此两个顶点来确定我们需要确定的目标区域。最后点击「Refresh Prediction」。
可以看到该区域已被正确识别。
「Bounding Box」目前只支持单图单次的识别,如果是复杂的图像或需要多步识别的,建议使用前两种模式。