基于IMU的三维空间手写输入方法和装置

    公开(公告)号:CN112486331A

    公开(公告)日:2021-03-12

    申请号:CN202011506838.X

    申请日:2020-12-18

    Applicant: 清华大学

    Inventor: 徐枫 伊昕宇 杨东

    Abstract: 本申请提出一种基于IMU的三维空间手写输入方法和装置,涉及人工智能技术领域,其中,方法包括:获取用户的各个位置上惯性测量单元IMU传感器采集到的多个惯性信息;通过深度神经网络对多个惯性信息进行处理,获取用户的骨骼链姿态信息;通过正向动力学对骨骼链姿态信息进行求解,获取用户的手部位置,并根据手部位置和历史位置信息形成三维手写轨迹。由此,使用户可以在空中徒手作画并实时观看到画出的三维轨迹实现手写输入,满足用户需求。

    基于注意力机制的半监督连续手语翻译方法及装置

    公开(公告)号:CN108647603B

    公开(公告)日:2021-01-29

    申请号:CN201810399532.5

    申请日:2018-04-28

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于注意力机制的连续手语翻译方法及装置,其中,方法包括:根据输入的手语视频通过手部区域检测网络生成手部区域图像序列;对手部区域图像序列和输出语言词汇进行编码,以输入手语翻译模型,并训练相应的词对齐序列;将相应的词对齐序列作为解码输入,以对手语翻译模型进行全监督训练,并生成连续手语翻译语句。该方法能够消除视频中手部以外信息对语言模型的影响,对手语表达过程中的冗余和过渡姿势有更强的分辨能力,能够准确迅速地对连续手语进行翻译。

    基于半监督学习的脑部肿瘤识别模型的训练方法及装置

    公开(公告)号:CN112102237A

    公开(公告)日:2020-12-18

    申请号:CN202010794964.3

    申请日:2020-08-10

    Applicant: 清华大学

    Abstract: 本发明提出一种基于半监督学习的脑部肿瘤识别模型的训练方法及装置,所述脑部肿瘤识别模型包括检测网络和分类网络,所述方法包括:获取第一训练样本集和第二训练样本集;利用所述第一训练样本集,分别对所述检测网络和所述分类网络进行无监督学习,生成预训练检测网络和预训练分类网络;利用所述第二训练样本集,对所述预训练检测网络和所述预训练分类网络进行训练,生成经过训练后的检测网络和经过训练后的分类网络;输出经过训练后的脑部肿瘤识别模型,所述经过训练后的脑部肿瘤识别模型包括所述经过训练后的检测网络和所述经过训练后的分类网络。本发明通过半监督学习方式充分利用精标与粗标数据,从而得到更加鲁棒的深度卷积神经网络。

    基于参数化曲线的唇语识别模型训练方法及装置

    公开(公告)号:CN109389085B

    公开(公告)日:2020-09-25

    申请号:CN201811172469.8

    申请日:2018-10-09

    Applicant: 清华大学

    Inventor: 徐枫 王雅婷

    Abstract: 本发明公开了一种基于参数化曲线的唇语识别模型训练方法及装置,其中,方法包括:截取嘴部区域,根据检测的嘴部区域的特征点得到嘴部矩形区域;将缩放的嘴部矩形区域输入边缘检测网络得到第一至第四唇线图片,以获取第一至第四唇线的边缘像素点;将每条唇线的边缘点分成多条子曲线;根据参数化曲线拟合每条唇线的边缘像素点,以得到拟合后的嘴唇唇线;对视频的每一帧均采用上述步骤进行处理,以得到每一帧拟合后的嘴唇唇线,根据每一帧拟合后的嘴唇唇线训练唇语识别模型。该方法可以用低维特征描述嘴唇的形状,减少后续计算的计算量,且更鲁棒,不受图像噪声或者图像尺寸、色温等图像自身属性影响。

    带标注的手与物体复杂交互真实彩色数据生成方法及装置

    公开(公告)号:CN111583134A

    公开(公告)日:2020-08-25

    申请号:CN202010313003.6

    申请日:2020-04-20

    Applicant: 清华大学

    Inventor: 徐枫 张浩 杨东

    Abstract: 本发明公开了一种带标注的手与物体复杂交互真实彩色数据生成方法及装置,该方法包括:通过使用两台相对放置的RGBD相机采集人手与物体交互过程,获得两组彩色-深度数据对序列,使用深度数据对交互过程进行重建,获得人手姿态、物体几何和物体姿态,并将其转换到彩色相机坐标系下,建立单目RGB和人手姿态、物体几何和物体姿态的数据集。该方法在深度序列上分割人手与物体交互部分并重建人手姿态、物体几何和姿态,不会破坏彩色数据。

    重建动态物体的表面优化方法及装置

    公开(公告)号:CN109360268B

    公开(公告)日:2020-04-24

    申请号:CN201811150607.2

    申请日:2018-09-29

    Applicant: 清华大学

    Inventor: 徐枫 郑成伟

    Abstract: 本发明公开了一种重建动态物体的表面优化方法及装置,其中,该方法包括:通过单个手持RGBD相机采集重建物体的彩色图像序列和深度图像序列;根据彩色图像序列和深度图像序列对每一帧求解当前相机位置,获取重建物体的运动及环境光照,用融合的方式来更新物体当前的几何和表面信息;根据清晰度从彩色图像序列中挑选出多个关键帧,并优化关键帧的像素,使优化后的颜色图像在像素块上与原始输入的颜色图满足预设条件;将重建物体的几何信息进行加密,利用分辨率满足预设值的颜色图,将优化后每一个关键帧的颜色图反投影回物体,得到重建物体的几何与表面。该方法在动态物体上对物体的表面进行优化,得到清晰、准确的表面信息,并且适用广泛。

    基于视线方向和LSTM神经网络的情感预测方法及系统

    公开(公告)号:CN110705413A

    公开(公告)日:2020-01-17

    申请号:CN201910903387.4

    申请日:2019-09-24

    Abstract: 本发明公开了一种基于视线方向和LSTM神经网络的情感预测方法及系统,其中,该方法包括:采集不同人物在不同情感状态下的脸部视频;确定所有视频帧的真实情感标签,并将每一帧的情感标签与该帧中人物的视线方向共同组成情感预测训练集;利用该训练集对长短期记忆深度神经网络进行训练,得到的包含最优参数的深度神经网络;最终向最优参数深度神经网络输入任意视频的人物视线方向,对当前帧进行情感预测。本发明实施例的方法,利用长短期记忆深度神经网络对连续视频帧中的视线方向和人类情感间的关系进行建模,通过该网络预测每个视频帧中人物的情感状况,从而在时域上对人物的情感变化进行判断。

    一种用于沉浸式模拟器的手部模型实时生成方法

    公开(公告)号:CN110335342A

    公开(公告)日:2019-10-15

    申请号:CN201910504554.8

    申请日:2019-06-12

    Abstract: 本发明提出了一种用于沉浸式模拟器的手部模型实时生成方法,包括以下步骤:S1、采集含有手部数据的彩色图像和深度图,分析所述深度图的连续性和连通性,获取近景连通图;S2、利用椭圆皮肤模型分析所述彩色图像,获取具有皮肤特征的连通图;S3、将所述近景连通图和具有皮肤特征的连通图做交运算,获得包括一个或多个重叠区域的重叠连通图;S4、根据有效条件从重叠连通图中选取有效手部区域,并进行手部数据填补;S5、利用有效手部区域内的数据构建三角网格,生成手部轻量级三维模型。本发明方法能够实时获取轻量化人手模型,计算量较小,成本较低,易于推广使用。

    基于三维眼球模型的眼球参数标定和视线方向跟踪方法

    公开(公告)号:CN109885169A

    公开(公告)日:2019-06-14

    申请号:CN201910139082.0

    申请日:2019-02-25

    Applicant: 清华大学

    Inventor: 徐枫 温佺 雍俊海

    Abstract: 本发明公开了一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法,包括以下步骤:S1,将人物视点固定在三维空间中并拍摄脸部视频,利用所述脸部视频标定人物的眼睛参数,并同时估算所述人物视点的位置;S2,利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向,同时对所述视线方向进行跟踪。该方法利用三维眼球模型与眼睛图像的对应投影关系建立能量函数,标定眼睛参数,建立一个与真实情况更接近的视线方向模型,实现高精度的视线方向跟踪。

    基于骨架跟踪的动态实时三维人体重建方法及系统

    公开(公告)号:CN108122275A

    公开(公告)日:2018-06-05

    申请号:CN201711408848.8

    申请日:2017-12-22

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于骨架跟踪的动态实时三维人体重建方法及系统,其中,方法包括:对人体进行深度图拍摄以得到单张深度图像;将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点之间的匹配点对;根据匹配点对建立能量函数,共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体骨架运动参数;对能量函数进行求解,以根据求解结果将重建模型与三维点云进行对齐,并使用深度图更新和补全对齐后的模型,以实现三维人体重建。该方法可以利用深度相机对人体进行拍摄,从而获得深度图像作为系统输入信息,并基于该深度图像完成对动态人体进行实时三维重建的功能,求解准确鲁棒,简单易实现。

Patent Agency Ranking