经典人体模型SMPL介绍(一)

SMPL是马普所提出的经典人体模型,目前已成为姿态估计、人体重建等领域必不可少的基础先验。SMPL基于蒙皮和BlendShape实现,从数千个三维人体扫描结果得来,后通过PCA统计学习得来。
论文:SMPL: A Skinned Multi-Person Linear Model
主页:https://smpl.is.tue.mpg.de/index.html
简单来说SMPL是多个人体模型,这些人体模型的形状、姿态都可以被参数化表示


SMPL参数一般分为两组:体型参数 β ⃗ \bold{\vec{\beta}} β 和姿态参数 θ ⃗ \bold{\vec{\theta}} θ 。前者决定人体的高矮胖瘦身材比例等,后者决定人体具体姿态。我们从下图即可看出它们的作用:
SMPL参数
(图片来自链接)
最初始版本(v1.0.0)的SMPL模型有两种性别,对应两个人体模型。每个人体模型有10个体型参数+24x3=72个姿态参数;所以,我们用10+72=82个数就可以表示一个SMPL人体
随便地,我们生成一组参数:

pose = (np.random.rand((24, 3)) - 0.5) * 0.4  # 24x3=72
beta = (np.random.rand((10,)) - 0.5) * 0.06

这里的pose表示姿态参数 θ ⃗ \bold{\vec{\theta}} θ ,beta表示体型参数 β ⃗ \bold{\vec{\beta}} β 。于是,这一smpl人体可以被生成出来——我们可以用obj文件表示,用MeshLab即可打开:
请添加图片描述
什么?你问我怎么得到这个obj文件的?
脚本放在下面,按需自取

import numpy as np
import pickleclass SMPLModel():def __init__(self, model_path):"""SMPL model.Parameter:---------model_path: Path to the SMPL model parameters, pre-processed by`preprocess.py`."""with open(model_path, 'rb') as f:params = pickle.load(f)self.J_regressor = params['J_regressor']self.weights = params['weights']self.posedirs = params['posedirs']self.v_template = params['v_template']self.shapedirs = params['shapedirs']self.faces = params['f']self.kintree_table = params['kintree_table']id_to_col = {self.kintree_table[1, i]: i for i in range(self.kintree_table.shape[1])}self.parent = {i: id_to_col[self.kintree_table[0, i]]for i in range(1, self.kintree_table.shape[1])}self.pose_shape = [24, 3]self.beta_shape = [10]self.trans_shape = [3]self.pose = np.zeros(self.pose_shape)self.beta = np.zeros(self.beta_shape)self.trans = np.zeros(self.trans_shape)self.verts = Noneself.J = Noneself.R = Noneself.update()def set_params(self, pose=None, beta=None, trans=None):"""Set pose, shape, and/or translation parameters of SMPL model. Verices of themodel will be updated and returned.Parameters:---------pose: Also known as 'theta', a [24,3] matrix indicating child joint rotationrelative to parent joint. For root joint it's global orientation.Represented in a axis-angle format.beta: Parameter for model shape. A vector of shape [10]. Coefficients forPCA component. Only 10 components were released by MPI.trans: Global translation of shape [3].Return:------Updated vertices."""if pose is not None:self.pose = poseif beta is not None:self.beta = betaif trans is not None:self.trans = transself.update()return self.vertsdef update(self):"""Called automatically when parameters are updated."""# how beta affect body shapev_shaped = self.shapedirs.dot(self.beta) + self.v_template# joints locationself.J = self.J_regressor.dot(v_shaped)pose_cube = self.pose.reshape((-1, 1, 3))# rotation matrix for each jointself.R = self.rodrigues(pose_cube)I_cube = np.broadcast_to(np.expand_dims(np.eye(3), axis=0),(self.R.shape[0]-1, 3, 3))lrotmin = (self.R[1:] - I_cube).ravel()# how pose affect body shape in zero posev_posed = v_shaped + self.posedirs.dot(lrotmin)# world transformation of each jointG = np.empty((self.kintree_table.shape[1], 4, 4))G[0] = self.with_zeros(np.hstack((self.R[0], self.J[0, :].reshape([3, 1]))))for i in range(1, self.kintree_table.shape[1]):G[i] = G[self.parent[i]].dot(self.with_zeros(np.hstack([self.R[i],((self.J[i, :]-self.J[self.parent[i],:]).reshape([3,1]))])))G = G - self.pack(np.matmul(G,np.hstack([self.J, np.zeros([24, 1])]).reshape([24, 4, 1])))# transformation of each vertexT = np.tensordot(self.weights, G, axes=[[1], [0]])rest_shape_h = np.hstack((v_posed, np.ones([v_posed.shape[0], 1])))v = np.matmul(T, rest_shape_h.reshape([-1, 4, 1])).reshape([-1, 4])[:, :3]self.verts = v + self.trans.reshape([1, 3])def rodrigues(self, r):"""Rodrigues' rotation formula that turns axis-angle vector into rotationmatrix in a batch-ed manner.Parameter:----------r: Axis-angle rotation vector of shape [batch_size, 1, 3].Return:-------Rotation matrix of shape [batch_size, 3, 3]."""theta = np.linalg.norm(r, axis=(1, 2), keepdims=True)# avoid zero dividetheta = np.maximum(theta, np.finfo(r.dtype).eps)r_hat = r / thetacos = np.cos(theta)z_stick = np.zeros(theta.shape[0])m = np.dstack([z_stick, -r_hat[:, 0, 2], r_hat[:, 0, 1],r_hat[:, 0, 2], z_stick, -r_hat[:, 0, 0],-r_hat[:, 0, 1], r_hat[:, 0, 0], z_stick]).reshape([-1, 3, 3])i_cube = np.broadcast_to(np.expand_dims(np.eye(3), axis=0),[theta.shape[0], 3, 3])A = np.transpose(r_hat, axes=[0, 2, 1])B = r_hatdot = np.matmul(A, B)R = cos * i_cube + (1 - cos) * dot + np.sin(theta) * mreturn Rdef with_zeros(self, x):"""Append a [0, 0, 0, 1] vector to a [3, 4] matrix.Parameter:---------x: Matrix to be appended.Return:------Matrix after appending of shape [4,4]"""return np.vstack((x, np.array([[0.0, 0.0, 0.0, 1.0]])))def pack(self, x):"""Append zero matrices of shape [4, 3] to vectors of [4, 1] shape in a batchedmanner.Parameter:----------x: Matrices to be appended of shape [batch_size, 4, 1]Return:------Matrix of shape [batch_size, 4, 4] after appending."""return np.dstack((np.zeros((x.shape[0], 4, 3)), x))def save_to_obj(self, path):"""Save the SMPL model into .obj file.Parameter:---------path: Path to save."""with open(path, 'w') as fp:for v in self.verts:fp.write('v %f %f %f\n' % (v[0], v[1], v[2]))for f in self.faces + 1:fp.write('f %d %d %d\n' % (f[0], f[1], f[2]))if __name__ == '__main__':smpl = SMPLModel('./model.pkl') # python SMPL modelnp.random.seed(9608)pose = (np.random.rand(*smpl.pose_shape) - 0.5) * 0.4 # (24, 3)beta = (np.random.rand(*smpl.beta_shape) - 0.5) * 0.06 # (10, )trans = np.zeros(smpl.trans_shape)smpl.set_params(beta=beta, pose=pose, trans=trans)smpl.save_to_obj('./smpl_np.obj')

代码来源:https://github.com/CalciferZh/SMPL

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/92718.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于Python的HTTP代理爬虫开发初探

前言 随着互联网的发展,爬虫技术已经成为了信息采集、数据分析的重要手段。然而在进行爬虫开发的过程中,由于个人或机构的目的不同,也会面临一些访问限制或者防护措施。这时候,使用HTTP代理爬虫可以有效地解决这些问题&#xff0…

普华永道踩坑MOVEit漏洞,泄露银行8万名储户的信息

8月14日,波多黎各自治区最大的银行——人民银行向缅因州司法部长提交了一份客户信息泄露报告。该报告指出,由于供应商普华永道使用的MOVEit软件存在安全漏洞,导致银行82217名储户的个人信息被泄露。 目前,波多黎各人民银行已经陆续…

javaScript:数组方法(增删/提取类/截取/操作方法等)

目录 一.数组的增删方法 1.push()数组末尾添加元素 解释 代码 运行截图 2.unshift()向数组的头部添加数组 解释 代码 运行截图 3.pop()数组的尾部删除一个元素 解释 代码 运行截图 4.shift()数组的头部删除一个元素 解释 代码 运行截图 5. splice()任意位…

使用 Visual Studio Code 调试 CMake 脚本

之前被引入到 Visual Studio 中的 CMake 调试器,现已在 Visual Studio Code 中可用。 也就是说,现在你可以通过在 VS Code 中安装 CMake 工具扩展,来调试你的 CMakeLists.txt 脚本了。是不是很棒? 背景知识 Visual C 开发团队和 CMake 的维…

最全的【DDD领域建模】小白学习手册(文末附资料)

1、前言: 在当时的环境下,单体应用仍然是市场的主体,但是大型复杂软件系统已经出现,给团队的设计和开发工作带来了比较大的挑战。 DDD提供了一种新的设计思路,通过对于业务子域和限界上下文的划分,建立跨…

【Oracle 数据库 SQL 语句 】积累1

Oracle 数据库 SQL 语句 1、分组之后再合计2、显示不为空的值 1、分组之后再合计 关键字: grouping sets ((分组字段1,分组字段2),()) select sylbdm ,count(sylbmc) a…

【数据结构OJ题】链表中倒数第k个结点

原题链接:https://www.nowcoder.com/practice/529d3ae5a407492994ad2a246518148a?tpId13&&tqId11167&rp2&ru/activity/oj&qru/ta/coding-interviews/question-ranking 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 …

进程间通信——信号

信号的概念 信号是 Linux进程间通信的最古老的方式之一,是事件发生时对进程的通知机制,有时也称之为软件中断,它是在软件层次上对中断机制的一种模拟,是一种异步通信的方式。信号可以导致一个正在运行的进程被另一个正在运行的异…

手机商城网站的分析与设计(论文+源码)_kaic

目录 摘 要 1 1 绪论 2 1.1选题背景意义 2 1.2国内外研究现状 2 1.2.1国内研究现状 2 1.2.2国外研究现状 3 1.3研究内容 3 2 网上手机商城网站相关技术 4 2.1.NET框架 4 2.2Access数据库 4 2.3 JavaScript技术 4 3网上手机商城网站分析与设…

复古游戏库管理器RomM

什么是 RomM ? RomM(代表 Rom Manager)是一个专注于复古游戏的游戏库管理器。通过 Web 浏览器管理和组织您的所有游戏。受 Jellyfin 的启发,允许您从现代界面管理所有游戏,同时使用 IGDB 元数据丰富它们。 RomM 支持的…

线上通过Nginx部署前端工程,并且配置SSL

介绍、为了更好的帮助大家学习,减少歧义,IP地址我就不隐藏了,公司也是我自己的公司。你们就别来攻击了。 下面给出步骤: 一、前期准备工作 通过在目标服务器上安装宝塔面板、安装redis、mysql、nginx、jdk环境等 1、 2、前端工程通过npm run build 打…

完美解决Github提交PR后报错:File is not gofumpt-ed (gofumpt)

问题阐述 最近在Github上提交PR后,遇到了这么一个问题:golangci-lint运行失败,具体原因是File is not gofumpt-ed (gofumpt)。 名词解释 golangci-lint: golangci-lint 是Go语言社区中常用的代码质量检查工具,它可以…

Redis的AOF持久化

除了RDB持久化功能之外,Redis还提供了AOF持久化功能。与RDB 持久化通过保存数据库中的键值对来记录数据库状态不同,AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的,如下图所示。 举个例子,如果我们对空白的数据…

【JVM】垃圾回收算法

目录 一、判断对象已“死” 1.1、引用计数算法 1.2、可达性分析算法 1.3、引用的概念 二、垃圾收集算法理论 2.1、分代收集理论 三、垃圾收集算法 3.1、标记--清除算法 3.2、标记--复制算法 3.3、标记--整理算法 一、判断对象已“死” 在堆里面存放着Java世界中几乎所…

大数据课程I4——Kafka的零拷贝技术

文章作者邮箱:yugongshiyesina.cn 地址:广东惠州 ▲ 本章节目的 ⚪ 掌握Kafka的零拷贝技术; ⚪ 了解常规的文件传输过程; 一、常规的网络传输原理 表面上一个很简单的网络文件输出的过程,在OS底层&…

接口测试自动化:简化测试流程,提升效率

接口测试自动化:简化测试流程,提升效率 什么是接口测试自动化? 接口测试自动化是指使用特定的工具和技术来自动化执行接口测试的过程。通过编写脚本,自动化工具可以模拟用户与软件系统的交互,验证接口的功能和性能。…

函数递归专题(案例超详解一篇讲通透)

函数递归 前言1.递归案例:案例一:取球问题案例二:求斐波那契额数列案例三:函数实现n的k次方案例四:输入一个非负整数,返回组成它的数字之和案例五:元素逆置案例六:实现strlen案例七:…

使用巴特沃兹滤波器的1D零相位频率滤波研究(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

Python源码05:使用Pyecharts画词云图图

**Pyecharts是一个用于生成 Echarts 图表的 Python 库。Echarts 是一个基于 JavaScript 的数据可视化库,提供了丰富的图表类型和交互功能。**通过 Pyecharts,你可以使用 Python 代码生成各种类型的 Echarts 图表,例如折线图、柱状图、饼图、散…

AI如何看待能力,学历,文凭

1 假设: {文凭}⊂{学历}⊂{能力} 2 证明: 首先,我们需要明确这些集合的定义和关系。 {能力}是一个包含各种能力的集合,例如学习能力、沟通能力、创新能力、领导能力和专业技能等。 {学历}是一个包含各种学历的集合&#xff0c…