32.文献阅读笔记

简介

题目

Flowing convnets for human pose estimation in videos

作者

Tomas Pfister, James Charles, and Andrew Zisserman, ICCV, 2015.

原文链接

https://arxiv.org/pdf/1506.02897.pdf

关键词

Human Pose Estimation in Videos

研究问题

视频中的人体姿态估计

研究方法

总体流程如下：

一、使用光流将多帧信息结合起来，从而从时间上下文中获益。

输入t以及其前后n帧rgb图片，相邻帧的热图可以使用光流进行扭曲和对齐，从而有效地在时间上传播位置信息。离t帧越远的帧权重越低。

邻近帧作为强有力的 "专家意见"，通过端对端反向传播来学习专家池权重。

分别回归输入图像中每个关节的关节位置热图。该热图（最后一个卷积层 conv8 的输出）是一个固定大小的 i × j × k 维立方体（此处为 64 × 64 × 7，表示 k = 7 个上半身关节）。在训练时，通过在ground truth关节位置放置一个方差固定的高斯，为每个关节分别合成ground truth标签热图

l2 loss：对predicted heatmap and the synthesised（合成） ground truth heatmap.之间的像素平方差进行惩罚

回归热图而不是（x, y）坐标的好处：可以理解失败并直观地看到网络的 "思考过程"；由于设计上允许网络的输出是多模态的，即允许在多个空间位置有置信度，因此学习变得更加容易：在训练的早期，一个给定的关节可能会在多个位置发生反应；随着训练的进行，错误的反应会慢慢被抑制。相反，如果输出只有手腕（x，y）坐标，那么网络只有在预测正确时才会有较低的损失（即使它对正确的位置 "越来越有信心"）。

提高热图的空间分辨率：(i) 使用最小池化（只有两个 2 × 2 最大池化层）；(ii) 所有步长都是统一的（这样分辨率就不会降低）。除 conv9（池化层）外，所有层后都有 ReLU。

卷积层代替全连接层

二、在初始热图之外增加卷积层，以学习人体布局的隐式空间模型。这些层能够学习人体各部位之间的依赖关系。这些 "空间融合 "层可以消除运动学上无法实现的姿势估计失败。

学习关节的空间依赖关系：Spatial fusion layers

（conv7）作为输入，学习人体位置之间的依赖关系，将 conv7 和 conv3（跳转层）的连接作为输入，并通过另外五个带有 ReLU 的卷积层进行反馈，大内核用于扩大网络的感受野。在该网络的末端附加了一个单独的损失层，并在整个网络中进行反向传播。

研究结论

在“野外数据集”上表现远优于目前技术水平。

创新不足

未涉及多人检测，只检测人物上半身

额外知识

光流：计算机视觉--光流法(optical flow)简介-CSDN博客

是空间运动物体在观察成像平面上的像素运动的瞬时速度。

光流计算使用FastDeepFlow