一种为虚拟物体提供实体交互的方法、系统及装置

    公开(公告)号:CN114415827B

    公开(公告)日:2024-10-08

    申请号:CN202111564482.X

    申请日:2021-12-20

    Abstract: 本发明公开了一种为虚拟物体提供实体交互的方法、系统及装置,能够本发明提出的技术能够实时为不同的虚拟物体提供实体反馈,通过使用移动装置自动组装基本体,构成虚拟物体对应的非预制实体,提供实体交互。一种为虚拟物体提供实体交互的方法包括如下步骤:根据用户所指定虚拟物体获取虚拟物体特征。基于虚拟物体特征计算虚拟物体的实体基本体组成信息。根据构成虚拟物体的虚拟基本体信息,控制装置将实体基本体进行实时搭建。根据终端设备虚拟场景和现实场景构建对应的虚拟场景,实现用户与虚拟物体的实体交互。本发明提出的方法可以实时为用户创建当前虚拟物体对应的物理实体模块,为虚拟物体提供可交互实体,提供丰富的触觉交互。

    一种基于知识蒸馏的轻量级语义分割方法

    公开(公告)号:CN118521790A

    公开(公告)日:2024-08-20

    申请号:CN202410701310.X

    申请日:2024-05-31

    Abstract: 本发明提供一种基于知识蒸馏的轻量级语义分割方法,该方法能够大幅减少网络参数并提升推理速度,高效地执行手部分割任务。具体过程为:轻量级语义分割网络重构:以HRNet网络为基础,调整HRNet网络中调制模块的数量,减少每一调制模块中残差单元的数量,减少网络中多分辨率卷积分支的通道数量;基于知识蒸馏网络训练:将HRNet网络作为教师网络,将重构的轻量级语义分割网络作为学生网络,使用1×1的卷积将学生网络的中间特征通道数对齐到教师网络,训练时先对教师网络进行训练,然后基于知识蒸馏进行学生网络训练;语义分割:将待分割的图像输入至训练完成的轻量级语义分割网络中,实现语义分割。

    一种基于分割大模型的大批量多视角目标图像分割系统

    公开(公告)号:CN118447253A

    公开(公告)日:2024-08-06

    申请号:CN202410661696.6

    申请日:2024-05-27

    Abstract: 本发明提供一种基于分割大模型的大批量多视角目标图像分割系统,通过提示生成模块根据人体关键点信息得到一组新的提示点坐标信息或者其他提示形式的信息,用处理得到的提示信息作为基于分割大模型的图像分割模块的输入,获取最终分割掩码结果;也就是说,本发明生成了额外的提示信息,用于提示指引分割大模型去分割用户指定的目标,自动化程度高,不需要额外提供绿幕或者空背景等预设信息、不需要固定照相机、不需要单一视角,即可进行高效的、精准的、鲁棒性的目标分割掩码计算,即使在动态背景下、动态目标的复杂情况下也能够实现大批量的目标图像分割掩码。

    面向单张复杂场景图像的自动彩色光照去除方法

    公开(公告)号:CN118351038A

    公开(公告)日:2024-07-16

    申请号:CN202410416885.7

    申请日:2024-04-08

    Abstract: 本发明公开了面向单张复杂场景图像的自动彩色光照去除方法,涉及图像处理技术领域,能够快速实时地将图像分离成白色光照和彩色光照图层,该方法不仅能够处理单张图像,还支持实时处理输入的单目视频帧。而且本方法可以处理广义的彩色照明,这包括了来自彩色光源、内在反射等不同来源的彩色光照。该方案包括如下步骤:单张图像输入至本征分解模块输出反射率层图层和彩色阴影层图层;对彩色阴影进行照明层的分解,进而生成全局的白色照明阴影层和局部彩色照明阴影层;通过反射图层和白色照明层阴影图像重建出彩色光照去除后的原始场景图像。

    一种融合时空约束的光学动作捕捉标记点实时补全方法

    公开(公告)号:CN114494341B

    公开(公告)日:2024-07-12

    申请号:CN202111665416.1

    申请日:2021-12-31

    Abstract: 本发明提供一种融合时空约束的光学动作捕捉标记点实时补全方法,旨在基于人体运动的时空约束,采用权重位置损失函数描述人体不同关节节点对整体位姿的影响,用标记点间距损失函数描述同一段骨骼上标记点之间的刚性结构,用于出前后帧损失函数描述标记点运动轨迹的时间连续性,并将以上损失函数加权组合用于训练深度学习网络,解决“光学动作捕捉系统丢失标记点实时补全”问题,本发明补全后的标记点位置更符合人体运动规律,提高了标记点补全的精度。

    一种基于头显双向监测的注视物体三维表达自动收集系统

    公开(公告)号:CN118279774A

    公开(公告)日:2024-07-02

    申请号:CN202410338718.5

    申请日:2024-03-25

    Abstract: 本发明提供一种基于头显双向监测的注视物体三维表达自动收集系统,通过头戴式显示器的用户注视检测,自动识别并采集环境中被注视的物体,生成并存储该物体的三维高斯神经表达,用于融合到其他真实或者虚拟的场景中;也就是说,本发明基于用户行为,智能判断并识别环境中的被关注物体,然后收集图像信息用于三维物体生成和存储,实现了用户注视物体的无感收集;由此可见,本发明提高了生成的虚实融合场景的丰富度和代入感,提高了用户体验和虚拟现实场景的交互性;在叙事融合场景中,用户熟悉的或者感兴趣的物体被自然的融合其中,增加了用户的亲切感,代入感和沉浸感,更有进行进一步交互的欲望。

    一种基于视素修正的语音驱动面部方法

    公开(公告)号:CN117079663A

    公开(公告)日:2023-11-17

    申请号:CN202310892014.8

    申请日:2023-07-20

    Abstract: 本发明公开了一种基于视素修正的语音驱动面部方法,一、采集人脸的语音—带标记的面部图像数据对;二、对所采集数据分别进行语音预处理、三维标记点预处理,得到可直接输入网络的训练数据;三、将训练数据输入神经网络进行训练,实现语音向面部三维标记点的映射;四、利用视素修正算法优化步骤三得到的三维标记点;本发明能实现由语音特征到面部三维标记点特征的精确映射,实现语音驱动三维面部标记点的功能。

    一种用于虚拟现实的物体选择及虚拟抓握生成方法及系统

    公开(公告)号:CN116820228A

    公开(公告)日:2023-09-29

    申请号:CN202310542655.0

    申请日:2023-05-15

    Abstract: 本发明公开了一种用于虚拟现实的物体选择及虚拟抓握生成方法及系统,通过实时获取用户真实手部位姿,控制虚拟手的手部位姿,利用第一神经网络,的带用户手势所处抓握类型的概率;跟踪用户真实手腕位姿和虚拟环境中物体的位姿,计算场景中相关物体的相关概率,推理被选择虚拟物体;利用第二神经网络输出被选择物体在手腕坐标系下的位置以及旋转值;最后利用第三神经网络,输出优化的用户手部关节旋转值,调整虚拟手,实现虚拟手对虚拟物体的抓握。该系统基于人类常识进行开发,根据交互环境和用户手势进行推理,用户可以根据物体的形状及抓取真实物体的经验,即抓取真实物体时使用的手势,选择虚拟物体,用户无需进行培训就能快速使用。

Patent Agency Ranking