基于视线方向和LSTM神经网络的情感预测方法及系统

    公开(公告)号:CN110705413B

    公开(公告)日:2022-09-20

    申请号:CN201910903387.4

    申请日:2019-09-24

    Abstract: 本发明公开了一种基于视线方向和LSTM神经网络的情感预测方法及系统,其中,该方法包括:采集不同人物在不同情感状态下的脸部视频;确定所有视频帧的真实情感标签,并将每一帧的情感标签与该帧中人物的视线方向共同组成情感预测训练集;利用该训练集对长短期记忆深度神经网络进行训练,得到的包含最优参数的深度神经网络;最终向最优参数深度神经网络输入任意视频的人物视线方向,对当前帧进行情感预测。本发明实施例的方法,利用长短期记忆深度神经网络对连续视频帧中的视线方向和人类情感间的关系进行建模,通过该网络预测每个视频帧中人物的情感状况,从而在时域上对人物的情感变化进行判断。

    从RGBD视频中学习手与物体交互运动控制方法和装置

    公开(公告)号:CN112720504A

    公开(公告)日:2021-04-30

    申请号:CN202110076685.8

    申请日:2021-01-20

    Applicant: 清华大学

    Inventor: 徐枫 张浩 杨东

    Abstract: 本申请提出一种从RGBD视频中学习手与物体交互运动控制方法和装置,涉及三维重建及机器学习领域,其中,方法包括:通过目标相机采集手与物体交互场景的RGBD图像序列;将RGBD图像序列输入手与物体交互运动重建模块,重建人手运动及物体运动;将人手运动及物体运动作为参考运动,输入强化学习模块中对虚拟手进行训练,以使虚拟手获取与参考动作相似的交互技能,并作用到虚拟物体上。由此,使用易于采集的RGBD视频作为虚拟手与物体交互控制策略的训练输入,实现虚拟手对于真实人手与物体交互过程的学习。

    基于2D检测的物体6D姿态估计方法、装置及计算机设备

    公开(公告)号:CN112614184A

    公开(公告)日:2021-04-06

    申请号:CN202011581497.2

    申请日:2020-12-28

    Applicant: 清华大学

    Inventor: 徐枫 刘金辉 杨东

    Abstract: 本申请提出一种基于2D检测的物体6D姿态估计方法、装置、计算机设备和存储介质。其中,方法包括:响应于针对单张RGB图像的物体6D姿态估计请求,从单张RGB图像中裁剪出目标物体所在的图像区域;获取图像区域之中目标物体的2D关键点坐标;以及根据目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配,以计算出目标物体的6D姿态。本申请可以减少背景信息的干扰,提升6D姿态估计的准确率。

    一种基于深度图像融合的人脸三维重建方法和装置

    公开(公告)号:CN110070611B

    公开(公告)日:2020-12-01

    申请号:CN201910322098.5

    申请日:2019-04-22

    Applicant: 清华大学

    Inventor: 徐枫 冯铖锃 杨东

    Abstract: 本申请提出一种基于深度图像融合的人脸三维重建方法和装置,其中,方法包括:通过获取对应目标人脸多个角度的多帧初始人脸三维图像,确定参考初始人脸三维图像,提取三维图像的外围特征点和关键特征点,根据参考初始人脸三维图像对应的关键特征点和非参考初始人脸三维图像对应的关键特征点的特征点位置,估算每帧非参考初始人脸三维图像的位姿参数,分割出包含人脸区域的各帧目标人脸三维图像,获取各帧目标人脸三维图像的三维坐标点的法向量,根据法向量确定三维坐标点的深度置信度;根据深度置信度、位姿参数对所有目标人脸三维图像进行融合,得到目标人脸的三维人脸模型。由此,提高了人脸三维重建的精度,得到了纯净的三维人脸。

    高质量纹理的实时重建方法及装置

    公开(公告)号:CN111754615A

    公开(公告)日:2020-10-09

    申请号:CN202010377514.4

    申请日:2020-05-07

    Applicant: 清华大学

    Inventor: 徐枫 郑成伟 杨东

    Abstract: 本发明公开了一种高质量纹理的实时重建方法及装置,其中,该方法包括以下步骤:移动单个RGBD相机拍摄待测物体的多个角度,得到颜色图像序列;在颜色图像序列中筛选出符合预设条件的N个关键帧;通过深度神经网络对N个关键帧进行优化,输出N个关键帧优化过后的颜色图像;将N个关键帧优化过后的颜色图像反投影到待测物体的几何上,并进行加权平均处理,得到已拍摄部分的高质量纹理。该方法拍摄过程只需要单个RGBD相机,就能够实时重建静态物体的高质量纹理。

    三维人体模型的启发式编辑方法及装置

    公开(公告)号:CN111583422A

    公开(公告)日:2020-08-25

    申请号:CN202010304897.2

    申请日:2020-04-17

    Applicant: 清华大学

    Inventor: 徐枫 吕军锋 杨东

    Abstract: 本发明公开了一种三维人体模型的启发式编辑方法及装置,其中,该方法包括以下步骤:获取待编辑的三维人体模型;利用曲面参数化方法将待编辑的三维人体模型转换为几何图像;处理几何图像对二维神经网络进行训练,输出生成几何图像,并将生成几何图像反转化为三维信息。该方法仅需要选取顶点,无需定义草图面,摆脱了视角的限制,简化了编辑步骤。

    手与物体复杂交互场景重建方法及装置

    公开(公告)号:CN111124107A

    公开(公告)日:2020-05-08

    申请号:CN201911113777.8

    申请日:2019-11-14

    Applicant: 清华大学

    Abstract: 本发明公开了一种手与物体复杂交互场景重建方法及装置,其中,方法包括:利用单RGBD相机采集手与物体交互场景的RGBD序列,得到RGBD图像;将RGBD图像送入手势预测神经网络中进行预测,得到左手的姿态预测数据与右手的姿态预测数据;将RGBD图像送入分割识别神经网络中,得到左手数据、右手数据、不同物体的分割数据;将分割所得的不同物体的深度数据和颜色数据融合进物体模型中,得到最终的物体模型。该方法可以针对人手与物体复杂交互过程,从单个RGBD相机所采集的序列中重建交互过程三维信息,能够获得人手的姿态运动和物体的表面,有效解决基于单个RGBD相机进行复杂交互过程重建中出现的高复杂性和强不确定的问题。

    手与物体交互过程的实时重建方法及装置

    公开(公告)号:CN110007754A

    公开(公告)日:2019-07-12

    申请号:CN201910169262.3

    申请日:2019-03-06

    Applicant: 清华大学

    Inventor: 徐枫 张浩 杨东

    Abstract: 本发明公开了一种手与物体交互过程的实时重建方法及装置,其中,方法包括以下步骤:对待处理深度图像数据进行数据分割得到手与物体分割结果,且获得手势姿态预测数据,其中,手与物体分割结果包括物体数据和手部数据;将预测数据和手与物体分割作为约束项对统一能量函数进行优化,以得到手部运动序列和物体非刚性运动序列;将物体数据融合到物体模型得到物体静态模型,并根据手部运动序列、物体非刚性运动序列和物体静态模型得到手与物体交互过程的实时重建结果。该方法可以有效解决手与物体交互运动的实时重建问题,实时获得手的运动、物体的运动和物体的几何模型。

    根据视角变化的人脸三维模型建立方法及装置

    公开(公告)号:CN109887076A

    公开(公告)日:2019-06-14

    申请号:CN201910137697.X

    申请日:2019-02-25

    Applicant: 清华大学

    Inventor: 徐枫 郑成伟 杨东

    Abstract: 本发明公开了一种根据视角变化的人脸三维模型建立方法及装置,其中,该方法包括以下步骤:输入预设角色脸部多个视角的2D画及人脸网格模板,并通过预设方法且配合人工标记,获得对应角色脸部的数据;利用混合形状的系数将对应角色脸部的数据进行表达,并构造势能函数对混合形状进行求解,以获得混合形状组成的矩阵完成人脸模型建立;根据输入的视角得到人脸模型中各个混合形状的系数,并对人脸模型进行变形得到人脸网络模型;利用渲染引擎对人脸网络模型进行渲染,以得到对应视角的人脸图像。该方法能够根据视角来改变三维人脸几何,使用网格与混合形状的表达方法,兼容现有渲染引擎,同时其计算量小,易达到实时。

Patent Agency Ranking