sam训练数据制作过程

发布时间 2023-07-25 17:44:15作者: 海_纳百川

1.辅助人工标注阶段

这个阶段以人工标注为主,但是为了提高标注效率,用了SAM的模型来进行辅助,刚开始的SAM是采用公开的分割数据训练,标注时人工采用点击前景点、背景点作为SAM的prompt输入,对分割的结果进行标注和修正,随着标注数据的增多,会采用新标注的数据来重训SAM模型,这个阶段模型反复重训了6次。

2.人工半监督标注

在第二阶段,利用第一阶段的数据训练一个faster-rcnn的目标检测模型,用检测框作为SAM的prompt输入(目标检测难度比分割小的多),输出的分割结果中,人工只需要关注置信度得分低的分割图进行修正,并补充SAM遗漏的结果。同样在这个阶段,随着标注数据的增多,SAM模型会持续的重训,一共进行5次训练。

3.全自动标注阶段

第三个阶段类似我们产生伪标签训练的过程,用前边数据训练好的SAM在海量数据上产生分割的结果,然后再通过规则过滤掉部分可能错误的结果,具体过程如下:

1.采用规则的点做为SAM的prompt,先将原图规则分割网格,得到32*32个分割点;再将原图上crop2倍和4倍下采样的小图片(裁剪的图片会有重叠),在裁剪的图片以同样分割网格的方式得到16*16,和8*8个分割点(相当有3种大小的图片)。

得到分割框存在重合,接下来会通过标准greedy nms 合并分割图,在一种大小的图片上,直接用预测的iou得分排序,在不同大小的图片上,优先小图片(4倍下采样大小)排序,通过nms计算的iou来过滤,阈值为0.7。

2.过滤。直接过滤掉预测的iou得分低于88;过滤不稳定的分割图,稳定的分割图含义是分割阈值在一定范围变化但是得到分割结果不变(也就是分割的置信度足够高);过滤掉超大的分割图(占原图尺寸的95%以上)

3.小目标的处理。如果几个分割目标相连为一组,其中小于100px的分割直接移除(最大的目标小于100px,移除整组分割结果);分割的结果如果有空洞(小于100px)直接填充,