公开(公告)号：CN119536526B

公开(公告)日：2025-05-06

申请号：CN202510098853.1

申请日：2025-01-22

Applicant: 南京信息工程大学

Inventor： 高春轩 ,  刘柏亨 ,  王少雄 ,  张子墨 ,  徐澜淇 ,  蒋唯乐 ,  石靖怡

IPC: G06F3/01 ,  G06F18/25 ,  G06F18/213

Abstract: 本发明涉及VR显示控制技术领域，尤其涉及LBE增强型多模态感知交互VR显示控制方法及系统，本发明提出以下方案，通过VR头显设备和手部控制器采集用户的多模态感知数据，采用卡尔曼滤波算法对位置数据与动作数据进行融合，计算用户的连续运动轨迹，并基于连续运动轨迹动态调整活动范围，生成方向性动态范围。对多模态数据进行同步、特征提取和加权融合处理，生成交互状态向量。根据交互状态向量分析用户的实时行为、动作意图和生理反馈，判断用户的操作灵敏度和情绪状态，动态调整VR设备的响应参数。本发明有效提高了大空间VR交互的实时性、灵活性和沉浸感。

公开(公告)号：CN119763175A

公开(公告)日：2025-04-04

申请号：CN202411964108.2

申请日：2024-12-30

Applicant: 南京信息工程大学

Inventor： 徐澜淇 ,  张一凡 ,  王少雄 ,  吕淑晓 ,  高春轩 ,  饶芷诺

IPC: G06V40/16 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40

Abstract: 本发明公开了一种图像数据处理技术领域的多模态情绪识别方法以及心理干预系统，旨在解决现有技术中单一模态的识别无法全面反映个体的真实情绪状态的问题。其包括根据视频片段处理得到连续帧图像信息；检测连续帧图像信息对应的人脸特征点序列；进行数据增强，得到第一特征向量；加权处理，得到第二特征向量；通过表情与特征点联合模块进行联合处理，得到图像特征向量；提取音频特征向量；通过视听张量积融合模块进行融合处理，得到最终的融合特征向量，利用基于Transformer架构的多模态融合情绪识别网络模型输出目标人物的情绪识别结果。本发明不局限于单一静态时刻，而是能够实时追踪和捕捉情绪动态变化，增强对情绪动态的响应能力。

公开(公告)号：CN119536526A

公开(公告)日：2025-02-28

申请号：CN202510098853.1

申请日：2025-01-22

Applicant: 南京信息工程大学

Inventor： 高春轩 ,  刘柏亨 ,  王少雄 ,  张子墨 ,  徐澜淇 ,  蒋唯乐 ,  石靖怡

IPC: G06F3/01 ,  G06F18/25 ,  G06F18/213

Abstract: 本发明涉及VR显示控制技术领域，尤其涉及LBE增强型多模态感知交互VR显示控制方法及系统，本发明提出以下方案，通过VR头显设备和手部控制器采集用户的多模态感知数据，采用卡尔曼滤波算法对位置数据与动作数据进行融合，计算用户的连续运动轨迹，并基于连续运动轨迹动态调整活动范围，生成方向性动态范围。对多模态数据进行同步、特征提取和加权融合处理，生成交互状态向量。根据交互状态向量分析用户的实时行为、动作意图和生理反馈，判断用户的操作灵敏度和情绪状态，动态调整VR设备的响应参数。本发明有效提高了大空间VR交互的实时性、灵活性和沉浸感。