一种数字化回忆干预系统的智能语音互动方法

    公开(公告)号:CN118430542B

    公开(公告)日:2024-08-30

    申请号:CN202410888291.6

    申请日:2024-07-04

    Applicant: 吉林大学

    Abstract: 本申请涉及语音处理技术领域,具体涉及一种数字化回忆干预系统的智能语音互动方法,该方法包括:语音采集老年音频向量和青年音频向量;对老年音频向量进行语音增强,计算语音模糊度;计算基频频移距离,得到频移后老年语谱图;计算共振峰增强包络线;计算增强后包络线,得到共振峰增强频谱图;得到增强老年语谱图;对增强老年语谱图进行语音识别,获得文本数据;并与语料库内的文本数据进行对比,找到匹配的回答文本数据;将回答文本数据进行语音合成,完成语音交互和对老年人的回忆干预。本申请可降低老年人与青年人的语音特征差异,提高老年人语音识别的准确性。

    一种全髋关节裸眼三维虚拟置换方法

    公开(公告)号:CN113633376B

    公开(公告)日:2024-03-15

    申请号:CN202110900351.8

    申请日:2021-08-06

    Applicant: 吉林大学

    Abstract: 一种全髋关节裸眼三维虚拟置换方法属自由立体显示技术领域,本发明包括:建立全髋关节裸眼三维显示系统,包括VTK和Optix处理器、立体显示屏、LeapMotion;利用集成成像技术显示髋关节的裸眼三维影像;虚拟置换髋臼与股骨头区域;手势交互控制裸眼三维影像,包括手掌收放、手掌旋转、拇指运动、食指运动,分别实现髋关节裸眼三维影像的整体缩放和旋转,髋臼和股骨头部分的旋转;本发明借助裸眼三维显示与隔空手势交互为患者选择最合适的内植物,突破目前医学主流显示手段和交互模式的屏障,实现无需助视设备且不会产生视疲劳的交互式全髋关节置换真三维术前规划,能大幅提高关节置换的效率和准确性,提升患者的术后康复质量。

    视频帧边缘软重建联合新视图边缘软定位的视点绘制方法

    公开(公告)号:CN117670913A

    公开(公告)日:2024-03-08

    申请号:CN202311668924.4

    申请日:2023-12-07

    Applicant: 吉林大学

    Abstract: 视频帧边缘软重建联合新视图边缘软定位的视点绘制方法属自由立体显示技术领域,本发明包括:单目相机位姿估计;视频帧边缘软重建,计算视频帧边缘深度和深度不确定度;视频帧稠密深度计算,扩散视频帧边缘深度;表面法线计算;新视图稠密深度计算,将视频帧深度传播至新视图;新视图边缘软定位,根据软重建视频帧边缘对新视图边缘可信度投票;视频帧边缘可信度计算,将新视图边缘可信度传播至视频帧;视频帧稠密可信度计算,扩散视频帧边缘可信度;新视图颜色生成,将视频帧颜色传播至新视图;本发明结合帧间冗余及边缘驱动、模糊化策略,能为单目视频端到端地快速生成高品质虚拟视点和自由立体显示内容。

    边缘模糊定位联合MRF优化的单目视频虚拟视图合成方法

    公开(公告)号:CN113658202A

    公开(公告)日:2021-11-16

    申请号:CN202110945182.X

    申请日:2021-08-17

    Applicant: 吉林大学

    Abstract: 边缘模糊定位联合MRF优化的单目视频虚拟视图合成方法属自由立体显示技术领域,本发明包括:1.对视频帧进行边缘检测;2.估计视频帧的相机位姿;3.针对每幅视频帧,计算边缘像素的深度值及深度估计的可信度;4.对每幅视频帧的深度值和可信度进行视点内插值;5.给定虚拟视点的图像分辨率与相机位姿,将视频信息跨视点传播至虚拟视点;6.采用基于自适应足迹的抛雪球算法,为虚拟视图进行边缘模糊定位;7.采用MRF全局优化,将彩色图根据可信度图加权融合,得到虚拟视图;本发明结合边缘驱动算法计算效率更高和MRF模型对不确定性问题描述更有效的优点,能实现高质量、强稳健的虚拟视图绘制,为自由立体显示快速生成高品质内容。

    一种全髋关节裸眼三维虚拟置换方法

    公开(公告)号:CN113633376A

    公开(公告)日:2021-11-12

    申请号:CN202110900351.8

    申请日:2021-08-06

    Applicant: 吉林大学

    Abstract: 一种全髋关节裸眼三维虚拟置换方法属自由立体显示技术领域,本发明包括:建立全髋关节裸眼三维显示系统,包括VTK和Optix处理器、立体显示屏、LeapMotion;利用集成成像技术显示髋关节的裸眼三维影像;虚拟置换髋臼与股骨头区域;手势交互控制裸眼三维影像,包括手掌收放、手掌旋转、拇指运动、食指运动,分别实现髋关节裸眼三维影像的整体缩放和旋转,髋臼和股骨头部分的旋转;本发明借助裸眼三维显示与隔空手势交互为患者选择最合适的内植物,突破目前医学主流显示手段和交互模式的屏障,实现无需助视设备且不会产生视疲劳的交互式全髋关节置换真三维术前规划,能大幅提高关节置换的效率和准确性,提升患者的术后康复质量。

    基于单目RGB相机与三维体表示的光场视频合成方法

    公开(公告)号:CN114332380B

    公开(公告)日:2024-08-09

    申请号:CN202210001079.4

    申请日:2022-01-04

    Applicant: 吉林大学

    Abstract: 基于单目RGB相机与三维体表示的光场视频合成方法属自由立体显示技术领域,本发明包括:1.利用特征提取和特征优化编码器,为当前帧RGB图像提取特征;2.利用像素对齐隐函数和高效的光线投射机制,为当前帧前景图像计算光场图像的估计值;3.利用前向和后向光流信息,为当前帧光场图像计算其估计值的时域一致性损失;4.通过对全局损失、局部损失、时域一致性损失加权求和,构造目标函数;5.通过最小化目标函数,得到当前帧光场图像的最优估计;本发明通过采用单目RGB相机与三维体表示,在保证光场图像空域和角度域一致性的基础上,能提高其时域一致性,从而提升自由立体显示内容采集的便捷性、鲁棒性,以及动态人体画面的稳定性。

    一种数字化回忆干预系统的智能语音互动方法

    公开(公告)号:CN118430542A

    公开(公告)日:2024-08-02

    申请号:CN202410888291.6

    申请日:2024-07-04

    Applicant: 吉林大学

    Abstract: 本申请涉及语音处理技术领域,具体涉及一种数字化回忆干预系统的智能语音互动方法,该方法包括:语音采集老年音频向量和青年音频向量;对老年音频向量进行语音增强,计算语音模糊度;计算基频频移距离,得到频移后老年语谱图;计算共振峰增强包络线;计算增强后包络线,得到共振峰增强频谱图;得到增强老年语谱图;对增强老年语谱图进行语音识别,获得文本数据;并与语料库内的文本数据进行对比,找到匹配的回答文本数据;将回答文本数据进行语音合成,完成语音交互和对老年人的回忆干预。本申请可降低老年人与青年人的语音特征差异,提高老年人语音识别的准确性。

    一种基于双目拼接和眼动追踪的视野渲染系统及方法

    公开(公告)号:CN116634260A

    公开(公告)日:2023-08-22

    申请号:CN202310632152.2

    申请日:2023-05-31

    Applicant: 吉林大学

    Abstract: 一种基于双目拼接和眼动追踪的视野渲染系统及方法,本发明涉及基于双目拼接和眼动追踪的视野渲染系统及方法。本发明的目的是为了解决现有车外搭载相机的拍摄视角和车内驾驶员的驾车视角无法重合,人眼视觉存在景深模糊现象,这种视觉特性在计算机渲染结果中较难体现,以及全聚焦的显示画面可能会分散驾驶员的驾车注意力的问题。系统包括:左相机、右相机、处理器、电源、眼动追踪仪和显示屏;其中显示屏垂直置于人眼的前方,人眼在显示屏上的投影位于显示屏的中心;眼动追踪仪固接于显示屏的上方;显示屏的显示方向和眼动追踪仪的采集方向都与人眼的观察方向相反;左相机和右相机并排固接于显示屏的后方区域。本发明用于图像处理技术领域。

    跨Unity/Optix平台的三维模型交互渲染方法

    公开(公告)号:CN115686202A

    公开(公告)日:2023-02-03

    申请号:CN202211269398.X

    申请日:2022-10-17

    Applicant: 吉林大学

    Abstract: 跨Unity/Optix平台的三维模型交互渲染方法属自由立体显示技术领域,本发明包括:1.设定手势交互动作;2.在Unity中导入三维场景网格模型组,将其赋予顶点颜色、变换坐标系、合并;3.创建三维曲线网格模型;4.在Optix中创建三维场景网格模型和三维曲线网格模型;5.循环执行三维模型交互,包括:读取交互指令、更新Unity中的三维场景网格模型和三维曲线网格模型,并将模型数据传送给Optix中的对应模型,渲染虚拟视点图像阵列;本发明通过结合Unity可快速编辑动态三维模型和Optix可实时生成虚拟视点图像阵列的优势,能使裸眼三维显示系统具有流畅的三维场景模型控制和三维曲线空中绘制功能。

Patent Agency Ranking