当我们打开手机自拍,各种美颜类app丰富的功能令人眼花缭乱,一键美颜、一键补妆…说是一键换头也不为过;当我们休闲娱乐时,各类体感游戏及最近爆火的虚拟偶像也令人十分上头。事实上,美颜类app和体感游戏正是关键点检测技术中人脸关键点和人体关键点的两个应用场景。
关键点检测,包括人脸关键点、人体关键点、特定类别物体关键点等,是计算机视觉领域一种较为基础的算法。同时,它也是很多其他算法的前置任务,如人脸表情识别、人体动作识别等。
在关键点训练数据的标注过程中,有许多难点需要解决。例如目前常见的人脸关键点通常需要精确到200点以上,且常存在遮挡需要做出预测的情况等,因此对数据标注提出了较高的要求。
澳鹏Appen中国自主研发的人工智能辅助数据标注平台——MatrixGo,集成了为多样场景定制的标注工具箱。其中,关键点标注工具便是Appen团队专门针对高质量的关键点检测模型训练而研发。
标注内容
点:在实际的标注过程中,根据算法要求不同,标注的点数往往也不尽相同。一些算法又会将点细分为关键点和非关键点:关键点指的是特定位置的点,而非关键点为关键点之间沿物体轮廓均分的点。这就要求标注工具对关键点和非关键点做出区分显示。
▲ 示例 - 连续打点
检测框:在做关键点标注时,也可以同时进行物体检测标注。标注时,可使用检测框将每一个目标框选出来,并可与点关联在同一个物体中。
▲ 示例 - 检测框
属性:
· 点属性:每一个点均可设置属性。常见的属性为是否可见,标注工具通常会将不可见的点显示为不同颜色,以方便作出区分;亦可根据算法要求,配置更多属性。
· 物体属性:当一张图中存在多个标注目标时,可以给每一个目标设置属性。例如对于多个人的人体关键点标注任务,可标注每一个人当前的动作等。
▲ 示例 - 点可见性
辅助功能
自定义连线:为了提升标注和质检效率,不同的关键点标注项目对于点与点之间的连线方式要求不同。连线的定义内容包括哪些点之间需要连线,以及每一根连线的颜色,以实现通过连线快捷查看标注正确与否的目标。
▲ 示例 - 配置点连线
连线可以设置为圆,用于标注眼球等特定形状的物体。
▲ 示例 - 画圆
自动顺滑和自动填充:在一些关键点项目中,需要标注的点数较多(通常为人脸关键点项目)。其中,关键点为特定且可确定位置的点,比如鬓角、下巴位置等,而非关键点为关键点之间沿人脸轮廓均分的点。
在这种场景中,算法通常会对点的均分程度提出要求。而这在标注人员进行手动标注时,可能产生较大误差。此时,关键点标注工具的自动填充功能能够做到在标注好关键点和人脸轮廓后,由工具自动填充中间的非关键点,达到相比人工更精确、更高效的效果。
▲ 示例 - 一键补全点(适配点间距)
示例图:在标注过程中,由于需要标注的点数较多,标注员完全记忆每一个点的位置较为困难。Appen关键点标注工具提供了示例图功能,标注员在标注每一个部位时,可以查看该部位的示例图作对照标注,有效提升标注效率。
▲ 示例 - 配置点位及关键点(参照图)
质检功能:在典型的标注工作流里,每个标注结果都需要质检人员进行检查确认。当发现标注问题时,质检员可以对每一个点标记具体的问题;在数据被打回重做时,被标记的点会以特殊颜色显示在点的导航中。
▲ 示例 - 质检功能
连续帧跟踪:Appen关键点工具支持连续帧标注,即一次完成多帧图片的标注。在进行连续帧的标注时,可将同一个物体的前后帧关联起来,以实现跟踪的目的。同时,工具提供了复制粘贴等功能,可以有效提升连续帧标注效率。
▲ 示例 - 连续帧跟踪
关键点检测技术是蓬勃发展的AI开发与应用之中的一个代表,关键点标注工具亦是澳鹏MatrixGo平台上由此应运而生的特色标注工具之一。澳鹏MatrixGo高精度数据标注平台丰富高效的标注工具、强大的工作流调度能力及百万级众包资源可支持丰富场景海量数据的标注项目。
澳鹏Appen是全球领先的AI训练数据服务提供商。凭借25+年的海外平台实践,澳鹏中国产研精英团队独立自主打造了适合本土行业特点的“高精度AI数据服务平台”,集成了强大的产品技术攻关能力、高效的项目管理水平及百万级众包资源。目前已助力全球7500+个AI项目研发及商业化。