一种基于视觉词袋模型的轻量化实例分割方法

    公开(公告)号:CN118506006A

    公开(公告)日:2024-08-16

    申请号:CN202410701311.4

    申请日:2024-05-31

    Abstract: 本发明提供一种基于视觉词袋模型的轻量化实例分割方法,能够充分提取图像中的特征并以此为基础引导网络生成相应实例掩码,能够得到更为良好的掩码预测效果。该方法的具体过程为:提取待分割的RGB图像的多尺度特征,所述多尺度特征包含高维度的语义特征信息和低维度的图像像素信息;将多尺度特征分别输入至锚点网格中,利用锚点网格不同比例的检测框做区域划分,再进行特征提取,并输出对应的掩码置信度;将多尺度特征中的低纬度特征输入至视觉词袋模型中,生成视觉单词并输入自注意力结构;将自注意力结构输出的视觉单词乘以相应的掩码置信度,得到每一分类下的掩码图像;利用非极大值抑制方法,筛选最佳的匹配位置后即可获取相应的实例分割结果。

    一种对齐的三维人脸模型序列重建方法及系统

    公开(公告)号:CN118505901A

    公开(公告)日:2024-08-16

    申请号:CN202410597476.1

    申请日:2024-05-14

    Abstract: 本发明公开了一种对齐的三维人脸模型序列重建方法及系统,能够输出位姿和模型拓扑均严格对齐的人脸模型序列,提升了人脸三维模型的序列化采集和重建的效果与效率,并增加了在不同应用的场景适用性。利用高速相机阵列实现了面部的原始图像采集,使用标准的多视图立体技术进行三维重建。目标人物通过二维码标志点头箍,从而将面部表情的非线性变形与颅骨的刚性运动解耦。此外,本发明中提出了渐进式的自动重拓扑方案实现批量化重拓扑。本发明可以采集具有细节的连续面部运动三维模型序列。该方法可以输出位姿和模型拓扑均严格对齐的人脸模型序列。

    基于穿戴式生物反馈设备的虚拟现实自适应呼吸训练方法及系统

    公开(公告)号:CN118304620A

    公开(公告)日:2024-07-09

    申请号:CN202410468859.9

    申请日:2024-04-18

    Abstract: 本发明提出了一种基于穿戴式生物反馈设备的虚拟现实自适应呼吸训练方法及系统,穿戴式生物反馈设备内置压力传感器,将用户呼吸时胸部扩张/收缩产生的压力变化实时发送至VR程序中,驱动动态“呼吸球”扩张/收缩,使动态“呼吸球”的变化与用户呼吸行为同步,并进行评分提示;在VR场景中按照引导语进行呼吸训练,根据动态“呼吸球”的变化直观感知自己的呼吸状态,根据系统评分实时调整呼吸状态;可以有效隔绝外部环境的影响,使用户将注意力集中呼吸训练上,提升呼吸训练效果;通过佩戴轻型生物反馈设备,实时直观感知自己的呼吸训练状态,对比呼吸训练评分,及时调整自身呼吸行为,提升呼吸训练效果与效率。

    基于VR的多任务训练游戏提升老年人认知能力的方法

    公开(公告)号:CN113457121B

    公开(公告)日:2023-12-05

    申请号:CN202110654762.3

    申请日:2021-06-11

    Abstract: 本发明提供一种基于VR的多任务训练游戏提升老年人认知能力的方法及装置,所述方法包括:配置Stroop任务及Simom任务;基于所述Stroop任务及Simom任务,对VR游戏系统进行功能划分;用户进入VR游戏系统,通过游戏进行训练。根据本发明的方案,将双任务实验范式和视‑动觉整合理论相结合,从而将VR技术的优点和心理学理论有效的融合在游戏的设计和体验中,在体验轻松、愉悦的游戏的同时达到对老年人认知进行训练提高的目的。

    一种头戴式显示器辅助佩戴附加模块及方法

    公开(公告)号:CN116338960A

    公开(公告)日:2023-06-27

    申请号:CN202310134326.2

    申请日:2023-02-20

    Abstract: 本发明公开了一种头戴式显示器辅助佩戴附加模块及方法,能够在HMD增加附加模块后,可以通过该模块及算法计算辅助定位当前佩戴HMD用户的眼部位置,从而使外部人员能够帮助用户调整HMD。附加模块为:撑板上对应双眼位置开设两个头盔镜片通孔;每个头盔镜片通孔的上方均设置2个红外摄像头和1个红外光源。红外摄像头在红外光源辅助照射下采集人眼图像送入处理器。处理器用于基于所采集的人眼图像并计算当前人眼位置参数,在显示器上进行显示。本发明提供的辅助佩戴方法实现了对眼睛瞳孔相对于模组空间坐标的确定,实现了对用户当前眼部位置的图形化表示,实现对用户辅助佩戴过程,提示了用户的眼部工作状态。

    一种面部动作捕捉的标记点追踪系统

    公开(公告)号:CN116012907A

    公开(公告)日:2023-04-25

    申请号:CN202211623544.4

    申请日:2022-12-16

    Abstract: 本发明提出一种面部动作捕捉的标记点追踪系统,在采集面部视频后,经标记点检测器和运动检测器,分别得到标记点的位置和运动信息,采用信息融合器将二者融合,得到二维标记点坐标,提高了追踪精度和鲁棒性。本发明还采用了标记点中心修正模块,修正运动信息的漂移,提高精度和稳定性。标记点检测器为卷积神经网络训练得到,提高检测精度和鲁棒性的同时,减少了成本和人工标记的使用。数据采集设备中,采集卡同步接收所有摄像机的录制视频,在高帧率的录制下,可以降低其他硬件的消耗与需求。

    一种采用基表情空间变换的高效表情迁移方法

    公开(公告)号:CN115457171A

    公开(公告)日:2022-12-09

    申请号:CN202210990361.X

    申请日:2022-08-18

    Abstract: 本发明提出一种采用基表情空间变换的高效表情迁移方法,包括:预处理阶段和面部表情迁移阶段;所述预处理阶段包括:获取源模型O,所述源模型O是一种基表情模型,其中包括多种不同表情下的表情网格;对源模型O和对目标模型T进行面容表情重建,得到二者的表情描述参数;根据表情描述参数进行相似性估计,得到表情参数转换矩阵和相似性矩阵;所述面部表情迁移阶段包括:将角色图片输入基表情模型,根据基表情模型中的表情描述参数和所述相似性矩阵,计算得到目标表情模型的表情描述参数,完成表情迁移。

    一种用于数字人和实体的虚实融合方法及系统

    公开(公告)号:CN114299257A

    公开(公告)日:2022-04-08

    申请号:CN202111566360.4

    申请日:2021-12-20

    Abstract: 本发明公开了一种用于数字人和实体的虚实融合方法及系统,属于增强现实技术领域,该方案实现将数字人和实体机机械结构的虚实融合。首先对实体机械结构进行骨骼建模,确定实体机械结构各个关节的属性,将每个关节部位进行建模,形成实体机械结构的三维骨骼模型。将虚拟数字人形象进行骨骼重定向,骨骼重定向过程具体为:调整已有的虚拟数字人形象的骨骼的大小、方向,使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配。将实体机械结构与虚拟数字人形象叠加,控制虚拟数字人形象和实体机械结构的各个关节对应位置,同时、同步地发生变化,实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配,若不匹配则实时调整。

    一种机器人表情驱动方法及装置

    公开(公告)号:CN113724367A

    公开(公告)日:2021-11-30

    申请号:CN202110791164.0

    申请日:2021-07-13

    Abstract: 本发明提供一种仿真机器人表情驱动方法及装置,所述方法包括构建机器人面部静态表情模型,获取机器人面部标志点信息;在所述机器人面部静态表情模型上绑定所述第一真人的多个面部表情,得到基于机器人面部静态表情模型的虚拟人模型;获取第二真人的表情,由所述第二真人的当前表情驱动所述虚拟人模型,提取虚拟人模型在当前表情下标志点的位置信息及编号;将提取到的所述虚拟人模型在当前表情下标志点的位置信息及编号输入训练好的网络模型,基于输出的电机参数驱动所述机器人作出与第二真人相同的面部表情。通过真人驱动虚拟人做出高精度表情,再通过面部高精度数据驱动机器人做出相应表情动作。实现机器人表情逼真,完美的呈现效果。

Patent Agency Ranking