openmmlab 第二课

发布时间 2023-06-04 11:11:32作者: isshpan

2D姿态估计

  • 基于回归:在图像上定位关键点坐标(建模成一个回归问题)。
  • 基于Heatmap:并不直接回归关键点坐标,而是预测关键点位于每个位置的概率。
    Heatmap可以基于原始关键点坐标生成,作为训练网络的监督信息;网络预测的热力图也可以通过求极大值等方法得到关键点的坐标。模型精度相对回归模型更高,但算力消耗更大。

多人姿态估计:自顶向下方法

Step 1:使用目标检测算法检测出每个人体
Step2:基于单人图像估计每个人的姿态
基于回归的自顶向下方法:DensePose
基于热力图的自顶向下方法:Hourglass、Simple Baseline、HRNet。

自底向上方法

PAF & OpenPose
单阶段方法
SPM(2D->3D)
SPR、Hierarchical SPR
具体的回归策略分为根节点位置与身体节点位移两部分
(a)根节点以热力图形式进行概率回归
(b)身体节点位移回归通过对每个结点构建稠密的位移图,并规定位移量在一定的范围内后对所有非零量取平均得到。

基于Transformer方法

PRTR

3D人体姿态估计

VideoPose3D
SMPL

评估指标

Percentage of Correct Parts(PCP)以肢体检出率作为评价指标

Percentage of Correct Key-points(PCK)以关键点的检测精度作为评价指标

Object Keypoint Similarity(OKS)based mAP以关键点相似度作为评价指标计算mAP