[分割一切！] SegmentAnything真的太强了

相信大家最近都听说了Meta开源了一个图像分割模型【SegmentAnything Model】，简称SAM模型，号称分割一切，在短短开源的一周内，截止今天Github已经24k的star了！

看了很多推文各种炸裂的词都出来了，最近也是体验了一下，真就给我当头一棒，头皮发麻，因为这个模型直接宣告了我们一些流程完全不需要深入研究了，就用SAM就行。

王者的诞生

提到Meta大家可能不知道这个是什么公司，但是提到Facebook大家都知道，而Meta就是改名后的Facebook，而我们常用的Pytorch深度学习框架就是他们旗下的产品。而SAM到底强在哪里？我们看看官方的介绍：

多元化交互

目前官方的demo支持交互式标注，可以通过画框、鼠标点击来获取分割的区域，此外还可以一键分割一切，轻轻点一下，将分割结果实时展示出来，并且对于不太确定的类别提供了多个有效的区域，举个例子，如果一堆草地里面会有花、花瓣也会分割出来，你可以根据阈值进行调整。

支持三维

SAM模型的输出结果可以作为其他AI的输入，比如下图的视频里不断被追踪分割椅子，进而提取出椅子的特征，可以生成椅子的三维模型。

集成应用

SAM的可提示设计使其能够与其他系统灵活整合，如图右，输入文本可以根据我们文本进行分割；如图左，可以根据AR眼睛的注视范围（一个点表示）然后分割出物体并且给出它的类别，这个和Meta本身的VR方向完全是相辅相成了。

0训练

官方宣传SAM模型已经学会了关于物体是什么的一般性概念–这种理解使其能够对不熟悉的物体和图像进行概括，而不需要额外的训练。

初步体验

好了好了，讲这么多，听起来也没啥感觉吧，不如实际体验一下。

这里我先上传了一个高分辨率无人机拍的png：

可以看到草坪、人行道、车辆分割的非常完美，而右下角的空地要素较多也进行了分类，水潭是水潭、草坪是草坪、荒地是荒地。

使用框选的话，首先会把右下角分为一个整体：

然后后续使用SegmentAnything会给出更精细的分割：

而且输出很棒，可以直接将分割的区域进行输出

然后我还试了其他图片，在没有进行训练的情况下，SAM还是把树一颗一颗的分别出来了，并且排除了阴影：

不训练效果都这么好，迁移一下模型，不得起飞（笑）

总结

总体体验下来，SAM最大的大招和冲击那就是样本标注，这种精细化交互式标注将杀死我们以前纯人工划区域的方式，并且大大提高样本的精度和降低样本标注的成本！

还在用labelIMG传统标注？来体验一下SAM模型的赛博标注吧！
https://segment-anything.com/

展望

在研一上人工智能的数学原理的时候，数院教授就和我们说深度学习其实已经进入了瓶颈期，未来将是深度学习应用的爆发期，当时还没什么感觉，而ChatGPT、Dall.e、SAM、Stable defussion及其衍生的应用的出现，让我身临其境的感悟了大模型的魅力。相信后面还是应用的爆发期，大家的公司可以开起来了。