一种基于多视图分组的轻量级三维模型分类网络

    公开(公告)号:CN116342947A

    公开(公告)日:2023-06-27

    申请号:CN202310310809.3

    申请日:2023-03-28

    Applicant: 济南大学

    Abstract: 本申请公开了一种基于多视图分组的轻量级三维模型分类网络,视图采样模块将三维模型投影到N个视图中依次渲染获得N个二维深度图;视图分组模块根据三维模型的几何语义将二维深度图划分为多个组;特征提取模块对每组二维深度图进行特征提取后输出多个特征图;特征融合模块把多个特征图融合后输入MobileViTblock模块中进一步解析获得最终预测结果。二维深度图通过良好的几何语义划分为多个组,然后多组视图分别利用改进后的MobileNetV2网络提取有效特征,最后多视图特征融合后获得三维模型的特征识别。该网络在保证三维模型分类有效性的同时降低了网络复杂度。

    一种基于深度哈希的运动捕获数据检索方法及系统

    公开(公告)号:CN112925936A

    公开(公告)日:2021-06-08

    申请号:CN202110196648.0

    申请日:2021-02-22

    Applicant: 济南大学

    Abstract: 本公开提供了一种基于深度哈希的运动捕获数据检索方法及系统,所述方案包括:基于运动捕获数据库中的运动捕获数据序列,生成每段运动捕获数据的运动表示图像;构建深度哈希特征提取模型,通过预训练的深度哈希特征提取模型提取所述运动表示图像的哈希特征;对于待检索的运动捕获数据,提取其哈希特征,并计算待检索的运动捕获数据哈希特征与所述运动捕获数据库中每段运动捕获数据哈希特征的距离,选择距离最近的前k个数据作为检索结果。本公开所述方案相对于现有技术具有更高的检索精度和效率。

    虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置

    公开(公告)号:CN110362210A

    公开(公告)日:2019-10-22

    申请号:CN201910670994.0

    申请日:2019-07-24

    Applicant: 济南大学

    Abstract: 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置,根据获取到眼动数据,进行注视点跟踪;根据获取的手势信息,进行手势的识别,对得到的手势识别数据和眼动数据进行标注,构成训练集,构建多流卷积神经网络-长短期记忆网络模型,所述网络模型利用训练集进行自我学习;将训练得到的最优网络模型应用在虚拟装配过程,获取虚拟装配过程的眼动数据和手势信息,提取眼动与手势特征,根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题,并利用深度学习算法的优势,以较高的准确率识别视频中操作人员的行为,完成虚拟装配任务,实现人机交互。

    残差增强的频率空间相互学习的人脸超分辨率方法

    公开(公告)号:CN118333860A

    公开(公告)日:2024-07-12

    申请号:CN202410749049.0

    申请日:2024-06-12

    Applicant: 济南大学

    Abstract: 本申请公开了一种残差增强的频率空间相互学习的人脸超分辨率方法,涉及图像处理技术领域,从频率分支基于傅里叶变换,捕捉全局信息,空间分支基于空间域提取局部信息。在两个分支中引入倒残差模块,丰富特征提取;其次,在空间分支内引入空间注意力增强的残差模块,通过细粒度的注意力优化空间特征。在人脸图像重建阶段,引入具有远程跳跃连接的残差模块,充分利用低层和高层特征保证图像生成结果的准确性。最后将人脸图像重建阶段生成高分辨率人脸图像与高分辨率原始人脸图像通过损失函数计算损失,实现了对人脸超分辨率网络的优化,最终经过迭代优化后,使得人脸超分辨率网络可以生成细节丰富、视觉效果更好的高分辨率人脸图像。

    一种通用的运动捕获数据检索方法

    公开(公告)号:CN104899248A

    公开(公告)日:2015-09-09

    申请号:CN201510204348.7

    申请日:2015-04-24

    Applicant: 济南大学

    Abstract: 一种通用的运动捕获数据检索方法。本发明提出了一种通用的运动数据表示形式—运动签名:它以统计学的角度从低层次和高层次全面描述了运动数据的形态学特征和运动学特征。在离线状态下,先将运动数据的原始标记点三维位置信息通过构造形态运动结构MAKS图的方式,抽取形状特征和运动学特征,保存为运动签名的形式;当在线查询时,针对查询样例,先构造其运动签名,然后根据形状-速度二维直方图判断它属于哪种运动类别,然后选择之前通过BDA学习到的这种运动类别的权重系数,通过和数据库中所有运动数据的运动签名进行加权距离的计算并排序,最后返回查询结果。本发明的有益效果是:采用适用范围更广的运动签名比对,检索精确度高,检索速度快,适用范围广。

    基于多流动态信息图嵌入模型的人体运动识别方法及系统

    公开(公告)号:CN117011938A

    公开(公告)日:2023-11-07

    申请号:CN202310960796.4

    申请日:2023-08-01

    Applicant: 济南大学

    Abstract: 本公开提供了基于多流动态信息图嵌入模型的人体运动识别方法及系统,涉及深度学习技术领域,包括提取运动捕获数据中的关节角度信息转化为人体各关节点的轨迹信息数据,获取运动序列;引入基于骨架的图卷积深度神经网络进行多流动态信息的特征提取,所述图卷积深度神经网络设计双分支结构,主分支提取长期运动序列中的运动时空特征,辅助分支提取短期运动序列中的运动时空特征,双分支通过交叉注意力的方式进行交互,使辅助分支对主分支中的特征信息进行补充;利用提取的运动时空特征输出运动识别结果类别概率,并进行排序,选择最大概率值对应的类别作为识别的结果,完成人体运动动作类别的识别。本公开有效提高运动捕获数据的识别精度和效率。

    一种人体动作捕捉数据恢复方法及系统

    公开(公告)号:CN116416680A

    公开(公告)日:2023-07-11

    申请号:CN202310382286.3

    申请日:2023-04-06

    Applicant: 济南大学

    Abstract: 本发明属于动作捕捉数据恢复领域,提供了一种人体动作捕捉数据恢复方法及系统,包括获取动作捕捉数据矩阵,所述动作捕捉数据矩阵由顺序排列的帧组成;基于线性投影将动作捕捉数据矩阵中的每一帧数据映射到高维特征空间,并将空间位置信息嵌入到该帧数据中,得到高维单帧数据;并利用自注意力机制提取高维单帧数据中所有标记点之间相关性的空间特征,得到高维单帧空间特征;将时间信息嵌入到动作捕捉数据矩阵的所有高维单帧空间特征中,利用自注意力机制获取高维单帧空间特征之间相关性的时间特征,得到时空间动作捕捉数据矩阵;基于时空间动作捕捉数据矩阵,利用多层感知机还原完整的动作捕捉数据。

    虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置

    公开(公告)号:CN110362210B

    公开(公告)日:2022-10-11

    申请号:CN201910670994.0

    申请日:2019-07-24

    Applicant: 济南大学

    Abstract: 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置,根据获取到眼动数据,进行注视点跟踪;根据获取的手势信息,进行手势的识别,对得到的手势识别数据和眼动数据进行标注,构成训练集,构建多流卷积神经网络‑长短期记忆网络模型,所述网络模型利用训练集进行自我学习;将训练得到的最优网络模型应用在虚拟装配过程,获取虚拟装配过程的眼动数据和手势信息,提取眼动与手势特征,根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题,并利用深度学习算法的优势,以较高的准确率识别视频中操作人员的行为,完成虚拟装配任务,实现人机交互。

    基于超像素的深度图像预处理和深度空洞填充方法

    公开(公告)号:CN106341676B

    公开(公告)日:2017-06-16

    申请号:CN201610865067.0

    申请日:2016-09-29

    Applicant: 济南大学

    Abstract: 本发明公开了基于超像素的深度图像预处理和深度空洞填充方法,包括以下步骤:步骤一:待处理的深度图像的超像素分割:对于该待处理的深度图像对应的彩色图像进行超像素分割,然后利用彩色图像的分割结果对该待处理的深度图像进行分割;步骤二:基于超像素的深度图像预处理;步骤三:虚拟视点深度图像超像素分割:利用待处理的深度图像对应的彩色图像和预处理后的深度图像进行三维变换,生成虚拟视点初始彩色图像和虚拟视点初始深度图像,对虚拟视点初始深度图像进行超像素分割;步骤四:虚拟视点深度图像填充。本发明采用基于超像素的深度图像预处理和基于超像素的深度空洞处理,空洞填充准确性较高,计算量较小,有利于视点合成的实时实现。

Patent Agency Ranking