夏时洪-人体运动仿真技术与应用WOT2015 42页

人体运动仿真技术与应用夏时洪研究员前瞻研究实验室中国科学院计算技术研究所2015-07-24\n中国科学院计算技术研究所创建于1956年；以云计算、物联网为特坚持“基础性、战略性、征的新一代信息技术及产业前瞻性”；以“跻身国际前沿，关注核心共性技术国计民生，引领中国信息产业”为己任；高性信息支持能高和网海量力争成为世界一流的科研通量络数数据学术机构。计算据的传输系统智能的网与核处理络通心部系统信系件统\nPart 1: 研究定位与研究意义\n人体运动仿真研究探究如何建模以仿真人体自然运动计算机科学、仿真科学、生命科学交叉领域：学术前沿研究、前瞻技术研发计算机图形，虚拟现实，人工智能人体肢体运动观测数据人脸表情观测数据\n应用出口\n应用出口\n操作训练\n操作训练\n装配操作训练\n体育训练\n运动规划与动力学控制\n2.2专题研究框架应用需求\n2.2专题研究框架应用需求\nPart 2: 研究问题与主要进展\n1.1专题目标研究问题如何用尽可能少的控制参数建模人体运动系统的高维、动态时空信息？\n人体运动虚拟仿真人体运动物理仿真问题：如何从视频等物理介质中实时生成问题：如何合成逼真的人体运动？精准人体运动？意义：仿真实验。意义：识别与理解、实时交互与控制。应用：仿真训练/教育培训等。应用：身份识别/运动健康/互动娱乐等。know-howdatamotionmodelingalgorithmsroboticsgeometricmodeldata-drivenmodelsbiomechanicsmotiondatadynamicmodelssignalprocessingsystemx-datakinematicmodels\n2.2专题研究框架人体肢体运动风格建模٥研究问题：如何用一个参数化模型建模人体肢体运动中存在的差异？\n2.2专题研究框架研究难点与思路٥技术难点视觉认知表达难：个体间运动差异如何建模，肢体间协调性如何建模低维信号控制高维信号难：外部约束同人体运动间的映射关系٥关键思路人体运动M≡运动内容C×一般风格S×个体风格V人体运动风格概念模型肢体间隐参数传递网络\n2.2专题研究框架模型评价与验证思路1Sidewaysstepping832Walking76×…=Running16425运动行为个体样本数采用链式多刚体表示人体姿态数据，包含32个关节每个样本数据由120f/s拍摄记录.ACMSIGGRAPH/EurographicsSymposiumonComputerAnimation2010,Madrid\n2.2专题研究框架模型评价与验证思路我们先通过去一交叉验证方法来测试我们模型的准确性，这里给出的是走路模型的验证结果。ACMSIGGRAPH/EurographicsSymposiumonComputerAnimation2010,Madrid\n2.2专题研究框架DEMO\n2.2专题研究框架DEMO\n2.2专题研究框架人脸运动建模٥研究问题：如何用特定的表情空间建模任意给定的人脸运动观测数据?人脸运动观测数据特定人脸表情空间\n2.2专题研究框架研究难点与思路٥技术难点形状相似度表达难：真实人脸同数字人脸的映射关系，过拟合问题视觉认知表达难：人脸生理结构如何建模٥关键思路模型误差项EE正则项fittingregulation2NfNbs2NNbsceeij,ij,()RR-1-1MttMwe()k,ck,ekkc,ke,neutralki,iiek1i1ij11ij,\n2.2专题研究框架模型评价与验证思路٥对比实验–实验环境•训练样本：样本帧数约500帧•测试样本：15段数据（总帧数>36,000）•基本表情形状：27个•硬件环境：2.67GCore2CPU，2GRAM•软件环境：Matlab\n2.2专题研究框架模型评价与验证思路\n2.2专题研究框架人脸非线性运动建模٥技术难点形状相似度表达难：真实人脸同数字人脸的映射关系，过拟合问题视觉认知表达难：人脸生理结构如何建模٥关键思路32f()wa=wbwcwi,ji,ki,ji,ki,ji,ki,ji,kNbs非线性化NbsEewwii,0i1Efii()ww,0i1i1i1\n2.2专题研究框架结果对比我们的结果，体现了人脸的生理结构！SIGGRAPH Course 的结果，无法体现人脸的生理结构！\n2.2专题研究框架DEMO\nPart 3: 当前工作与未来计划\nChinaGraph\nChinaGraph\nChinaGraph\n产出1：动画云平台OpenAvatar\n产出1：动画云平台OpenAvatar\n\n\n数据流\n产出1：动画云平台OpenAvatar\n人体运动仿真技术与应用探究如何建模以仿真人体自然运动计算机图形，虚拟现实，人工智能安全应用健康应用娱乐应用\n致谢\n谢谢！敬请批评指正！夏时洪研究员xsh@ict.ac.cn13701252938