CVAT——计算机视觉标注工具

一、CVAT简介

  1. CVAT 是用于计算机视觉的强大、有效、免费、在线、交互式视频和图像注释工具
  2. Intel团队正在使用它来注释数百万个具有不同属性的对象
  3. 许多 UI 和 UX 决策都是基于专业数据注释团队的反馈
  4. CVAT官方地址
  5. 视觉开源工具排行榜
  6. CVAT架构图

二、CVAT核心概念

项目

在 CVAT，您可以创建一个包含相同类型任务的项目。 与项目相关的所有任务都将继承标签列表

  1. 更改项目的标题
  2. 打开“操作”菜单。 每个按钮负责操作菜单中的特定功能
  3. 更改问题跟踪器或打开问题跟踪器（如果指定）
  4. 更改标签。 您可以在 Raw 模式或 Constructor 模式下添加新标签或为现有标签添加属性
  5. 分配给——用于将项目分配给一个人。 开始输入受让人的姓名和/或从下拉列表中选择合适的人
  6. 任务 — 是特定项目的所有任务的列表，可以在项目中搜索任务

云存储

云存储模式
  1. AWS-S3
  2. Azure Blob Container
  3. Google Cloud Storage
  4. COS（腾讯云或者阿里OSS，需要自己定制化支持）
云存储预览
  1. 云存储页面包含元素，每个元素都与单独的云存储相关
  2. 每个元素包含：预览、云存储名称、提供者、创建和更新信息、状态
云存储操作
  1. Update — 修改云存储
  2. Delete — 删除云存储
  3. Attach a new storage — 添加云存储

任务

任务细节
  1. 更改任务的标题
  2. 打开操作菜单
  3. 更改问题跟踪器或打开问题跟踪器（如果指定）
  4. 更改标签
  5. 分配给 – 用于将任务分配给一个人
任务页面
  1. 导出任务数据集
  2. 上传标注数据集
  3. 自动化标注
  4. 备份任务
  5. 移动到项目中
  6. 删除
作业列表
  1. 带有超链接的作业名称
  2. Frames — 帧间隔
  3. 工作的一个阶段
  4. Started on — 这份工作的开始日期
  5. Assignee — 是从事该工作的用户
  6. Reviewer – 指定执行审阅的用户

作业

在作业页面上，用户（例如，具有工作人员角色）可以查看分配给他们的作业，而无需访问任务页面，还可以跟踪进度、对作业列表进行排序和应用过滤器

CVAT标注UI页面

Header

用于导航 CVAT 部分和帐户设置的固定标题

Top panel

包含导航按钮、主要功能和菜单访问

Workspace

显示图像的空间

Controls sidebar

包含用于导航图像、缩放、创建形状和编辑轨道（合并、拆分、分组）的工具

Objects sidebar

包含标签过滤器，两个列表：对象（在框架上）和标签（在框架上的对象）和外观设置

Pop-up messages

在 CVAT 中，您会在任何页面的右上角收到弹出消息。 弹出消息可以包含有用的信息、链接或错误消息

训练模型

模型

模型页面包含为半自动和自动注释部署的深度学习 (DL) 模型列表

类型
  1. detector – 用于自动注释
  2. interactor – 用于半自动形状注释
  3. tracker – 用于半自动轨迹标注
  4. reid – 用于将单个对象组合成一个轨道

AI标注

AI Tools

CVAT 中可用的半自动和自动注释工具概述

OpenCV tools

该工具基于 Open CV 计算机视觉库，这是一个包含许多 CV 算法的开源产品

Automatic annotation

自动注释用于创建初步注释。要使用自动注释，您需要一个 DL 模型

Open Model Zoo

  1. 该存储库包括优化的深度学习模型和一组演示，以加快高性能深度学习推理应用程序的开发。 使用这些免费的预训练模型而不是训练自己的模型来加快开发和生产部署过程。
  2. 存储库组件包括英特尔预训练模型、公共预训练模型、模型下载器和其他自动化工具、使用 OpenVINO™ 工具包演示模型使用的演示、用于模型准确性验证的准确性检查器工具

openvino_notebooks

一系列可立即运行的 Jupyter 笔记本，用于学习和试验 OpenVINO™ 工具包。这些笔记本介绍了 OpenVINO 基础知识，并教开发人员如何利用我们的 API 优化深度学习推理

OpenVINO™ Toolkit

该工具包允许开发人员通过与应用程序逻辑集成的高级 OpenVINO™ 运行时 C++ 和 Python API 部署预训练的深度学习模型

CVAT分析监控

分析

通过分析，您可以查看每个用户在每项任务上花费了多少时间，以及他们在任何时间范围内做了多少工作

监控

它还有一个活动图，可以通过显示的用户数量和时间范围进行修改

三、Nuclio

CVAT训练模型部署平台，无服务事件数据处理平台

  1. 以最小的 CPU/GPU 和 I/O 开销和最大的并行度进行实时处理
  2. 与大量数据源、触发器、处理模型和 ML 框架的原生集成
  3. 具有数据路径加速的有状态函数
  4. 跨低功耗设备、笔记本电脑、边缘和本地集群以及公共云的可移植性
  5. 开源但专为企业设计（包括日志记录、监控、安全性和可用性）

四、Fiftyone

FiftyOne 是一个开源数据集管理和模型分析工具，用于可视化、探索和改进计算机视觉数据集和模型，它与 CVAT 紧密集成，用于注释和标签细化

  1. 评估对象检测
  2. 评估分类器
  3. 使用图像嵌入
  4. 使用 CVAT 进行标注
  5. 下载和评估开放图像
  6. 探索图像唯一性
  7. Fiftyone 查找分类错误
  8. 发现检测错误

五、写在最后

Tips：CVAT最近停更了5个月，现在已经交给了opencv组织来维护了，项目已经修改成MIT协议，作为一直关注的CVAT粉丝觉得这是最好的归宿了，俄罗斯的Intel团队核心成员全部加入opencv组织，希望大家多多去star支持一下，优秀开源之作不易，期待俄乌早日停战，世界和平

参考链接：

  1. CVAT官方地址
  2. CVAT官方Demo
  3. CVAT安装文档
  4. Nuclio
  5. FiftyOne