随着AI与传统行业的不断融合以及5G的发展,AI数据服务方式由粗放式向着精细化方向过渡,数据标注工具的发展也经历了从「能用就行」到「好用且高效」的阶段。
大家都知道不同的标注类型使用的标注方法、工具、存储类型都不一样,在了解图像标注工具之前,我们先来看看图像标注都有哪些数据类型。
01 图像/视频标注类型
2D框
给标注工具提供一幅图像,让其在图像内特定对象周围绘制一个框。
最简单的图片数据标注类型,成本最低,应用最广泛。
多边形分割
标注工具会通过在需要标注的对象的外边缘,放置许多个点来绘制成线,勾勒轮廓。
用于图片和视频中精确的物体检测和位置定位,更精准、更耗时、成本更高。
关键点标注
通过人工的方式,在规定位置标注上关键点,例如人脸关键点、骨骼点。常用于面部或姿势识别模型。
线标注
主要用于自动驾驶车辆的道路识别,定义不同道路。
语义分割
根据物体的属性,对复杂不规则图片进行进行区域划分,并标注对应的属性,以帮助训练图像识别模型,常应用于自动驾驶汽车、人机交互、虚拟现实等领域。
比较精准,耗时比较长,对图片上的所有内容进行标注。
视频标注
以帧为单位在一系列图像中定位和跟踪物体,多用于训练车辆、行人、骑行者、道路等自动驾驶领域的模型。
2/3D融合标注
通过3D点云数据,返求出2D图片的相对位置,对点云数据和图片数据同时标注。
用于多传感器融合平台的数据处理,多应用于自动驾驶场景。
02标注工具推荐
CVAT
CVAT是免费的、在线的、交互式的视频注释工具,它的灵感来自Vatic。支持本地部署,无需担心数据外泄。
网址: https://github.com/opencv/cvat
标注类型
1.多边形分割、语义分割、2D框、线标注、点标注
2.3D点云
3.视频标注
文件导出格式
CVAT for video、CVAT for images、PASCAL VOC、(VOC) Segmentation mask、YOLO、COCO、TFRecord、MOT、LabelMe 3.0、Datumaro
亮点/优势
1.支持多人协作
CVAT带有用户管理系统,可以创建、删除新成员,并为成员分配不同角色。如管理员、用户、标注员、质检员
2.标注功能强大
能用于几乎所有CV相关标注任务,如点,多边形,语义分割等,并且包含了插值标注即一个视频中若干帧,标注起始帧中间会自动生成、 带有标注任务列表的仪表板等功能
3.预处理功能
使用TensorFlow OD API的自动标注,可以预处理一部分数据
4.持续更新
开源环境较好,工具在不断完善中,有任何问题可以在gitchater问,回复很快
不足
1.没有「贝塞尔曲线」,只能一个一个点
2.只适用于谷歌浏览器,在其他浏览器中表现不佳
3.尽管 CVAT 支持一些自动测试,但所有质检都必须手动完成
4.由于Chrome Sandbox的性能限制,CVAT在某些用例中可能会出现性能问题
VOTT
微软发布的一款基于javascript开发用于图像目标检测的标注工具,使用React+Redux进行开发,支持Windows和Linux平台运行。分为V1和V2两个版本,目前V1已经废弃,V2是V1版本的重构和优化,建议大家直接用V2。
网址: https://github.com/microsoft/VoTT
标注类型
支持点、线、2D框、语义分割与视频数据标注
文件导出格式
CNTK/Pascal VOC、TFRecord、CSV、VoTT等格式
亮点/优势
1.安装方便,直接下载exe文件即可
2.VoTT的学习成本低、上手快
不足
1.不支持多人协作
2.VoTT的标注会超出图像的最大像素范围,如果模型对坐标有规定范围的话,则需要进行特定处理
3.数据无法加密保存,不适合私密数据标注
4.不能导入已有的标注结果(如bbox)
5.程序不稳定:VoTT是桌面应用,经常死机,经常会报错
Labelme
Labelme 是一个图形界面的图像标注软件。其的设计灵感来自于 http://labelme.csail.mit.edu/ 。它是用 Python 语言编写的,图形界面使用的是 Qt(PyQt)。
网址: https://github.com/wkentaro/labelme
标注类型
1.多边形分割、语义分割、2D框、线标注、点标注
2.视频标注
3.对图像进行进行 flag 形式的标注(可用于图像分类和清理)
文件导出格式
JASON、VOC与COCO
亮点/优势
1.用户定制界面
2.支持全面标注方式:与labelImg相比,labelme除了矩形框之外,还可以使用圆形框,多边形框,点,线等来对图像进行标注,用于目标检测、图像分割等任务
3.可以对图像进行flag形式的标注,用于图像分类和清理任务
LabelImg
LabelImg是图形图像标注工,用Python编写的,并将Qt用于其图形界面,可以用于进行目标检测项目的标注工作。
网址: https://github.com/tzutalin/labelImg
标注类型
2D矩形框,目标检测
文件导出格式
PASCAL VOC 、YOLO 、CreateML
亮点/优势
1.操作简单快速,而且生成的标注文件以XML文件保存,读取方便,格式标准
2.支持VOC2012格式与tfrecord自动生成
不足
支持的标注类型少:仅支持2D框标注
VIA-VGG Image Annotator
一款开源的图像标注工具,由Visual Geometry Group开发。可以在线和离线使用。可标注矩形、圆、椭圆、多边形、点和线。
下载地址:http://www.robots.ox.ac.uk/~vgg/software/via/
Github:https://gitlab.com/vgg/via
标注类型
1.多边形分割、语义分割、2D框、线标注、点标注
2.Version3增加了对视频和音频的标注
3.人脸标注
文件导出格式
csv和json
亮点/优势
1.人脸数据标注提供了各种方便的操作,人脸数据标注首选工具
2.网页源代码开源,可离线使用还可进行二次开发,比如增加鼠标十字线
3.标框可以复制(可前后帧复制),同样大小可直接复制且继承属性,属性面板较为清晰
4.适用多个浏览器:Chrome、Firefox、Safari、 Explorer、GNOME Web等
不足
多边形工具,一旦绘制完多边形无法增加锚点,只能调节点的位置
Pixel Annotation Tool
图像语义分割与实例分割标注神器,交互式标注算法思想是基于OpenCV中分水岭算法实现。
网址: https://github.com/abreheret/PixelAnnotationTool
也可以直接下载编译好的二进制文件使用,下载地址如下:https://github.com/abreheret/PixelAnnotationTool/releases
标注类型
语义分割与实例分割
亮点/优势
1.快捷,半自动化,类似PS蒙版,基于OpenCV中分水岭算法实现
2.可以返回上一步
不足
1.标注对象若颜色分布不均匀,软件无法识别
2.如果识别出来,大概率覆盖掉周围物体,很难修改
Vatic
Vatic是一个带有目标跟踪的半自动化视频标注工具,适合目标检测任务的标注工具。
网址: https://github.com/cvondrick/vatic/tree/contrib
标注类型
适合目标检测任务的视频标注
文件导出格式
JSON
亮点/优势
1.内含基于opencv的tracking,一段视频只需抽样标注,大大减少了工作量
2.支持接入亚马逊的众包平台Mechanical Turk,具体使用时,可以设定要标注的物体label,比如:水果,人,车,等等,然后指派任务给到众包平台
3.简洁使用的GUI界面,支持多种快捷键操作
不足
仅支持2D框标注。
03数据标注
数据是公认数字时代的石油。为了更好地对数据资源进行管理和开发利用,发挥数据资源的价值,国家已经开始并将进一步加快培育数据要素市场,发挥数据生产要素的作用,激活数据要素潜力,进一步完善数据生态,编制出台培育数据要素市场的指导性文件,数据标注行业,也将在快速发展的同时,更加规范化、制度化。
04人工智能实训项目
说到数据标注,那必须和大家再提一下我们的人工智能实训项目。
人工智能产业应用研究院对零基础学员有完善的实训课程和自主研发的在线数据标注平台,满足学员理论知识及实操技能的同步提升,使学员达到人工智能行业对人才要求的目的。
进入数据标注平台的方法非常简单:
第一步 关注微信公众号
第二步 点击菜单栏 “标注平台”
即可进入数据标注平台
微信公众号:云图智创人工智能产业应用研究院
05人工智能产业应用研究院
用场景定义AI·生态推进产业落地,以适应行业、产业结构,社会发展需求趋势和人才紧缺需求变化,打造集产教融合、产业应用人才培养、应用场景开发、产业生态培育、产业项目孵化创投于一体的国际化人工智能应用型产业培育基地。通过搭建人工智能产业链生态平台,推动人工智能技术形成应用于多元化业务场景的行业应用标准,以更完善的 AI产业链生态来促进和推动人工智能产业落地。