公开(公告)号：CN117058691B

公开(公告)日：2024-09-13

申请号：CN202310553707.4

申请日：2023-05-16

Applicant: 重庆邮电大学

Inventor： 甘吉 ,  高新波 ,  冷佳旭 ,  胡波

IPC: G06V30/228 ,  G06T17/00 ,  G06T7/246 ,  G06V10/82 ,  G06V10/26 ,  G06V10/46 ,  G06N3/0464

Abstract: 本发明属于人机交互和计算机视觉领域，特别涉及一种基于三维手势重建的空中手写交互方法，包括：获取用户空中手写交互的彩色图像数据流，并输入到深度神经网络中进行手部核心区域分割和手部关节点二维信息提取；将手部核心区域图和手部关节点二维信息输入到解码网络中估计三维空间中用户的手势模型，并对手势模型进行约束重建；根据重建后的三维手势模型实时获取用户的指尖运动轨迹，采用时序卷积循环神经网络对指尖运动轨迹进行识别，得到空中手写交互识别结果；本发明使用时序卷积循环网络来直接处理手写运动轨迹，不但能够识别输出手写文本行，而且还具备更高的识别精度、更小的计算开销和模型存储，提升了系统的实用性和普及性。

公开(公告)号：CN115484456B

公开(公告)日：2024-05-07

申请号：CN202211121615.0

申请日：2022-09-15

Applicant: 重庆邮电大学

Inventor： 高新波 ,  谭明圮 ,  冷佳旭 ,  莫梦竟成 ,  甘吉

IPC: H04N17/00 ,  H04N7/18 ,  H04N19/513 ,  G06V10/74 ,  G06V10/762 ,  G06V10/774 ,  G06V20/40

Abstract: 本发明属于视频异常检测，具体涉及一种基于语义聚类的视频异常预测方法及装置，所述方法包括将不存在异常的视频，即正常视频序列输入位移通道可选择编码器进行语义特征提取，将提取的语义放入语义池进行储存；在处理实时数据时，将实时视频序列输入位移通道可选择编码器得到其对应的未来视频帧的语义特征，判断提取的语义特征与语义池中所有正常语义特征的相似度，若最大相似度大于设定阈值则该输入视频序列的未来帧正常，否则异常；本发明可以实现对还未发生的异常进行预测，且本发明通过有选择性的通道位移，让编码器提取时间信息的同时，更加关注运动变化较大的区域，并且减少对背景信息的关注。

公开(公告)号：CN113947531A

公开(公告)日：2022-01-18

申请号：CN202111272653.1

申请日：2021-10-29

Applicant: 重庆邮电大学

Inventor： 冷佳旭 ,  王佳 ,  高新波 ,  徐宗懿 ,  甘吉

IPC: G06T3/40 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于计算机视觉领域，具体涉及一种迭代协作的视频超分辨率重构方法及系统，该方法包括：输入低分辨率视频帧序列，提取其特征图；将提取的特征图分别输入对齐网络和分频重构网络，得到时间特征图和空间特征图；利用时空残差融合模块将时间特征图和空间特征图进行融合，得到时空特征图；将得到的时空特征图再次输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；迭代数次直到得到无冗余的时空特征图；将低分辨率视频序列进行上采样后与无冗余的时空特征图相加得到高分辨率图；本发明引入迭代协作网络、分频重构网络和时空残差融合，达到了减小了对齐误差和提升视频超分辨率重构性能的目的。

公开(公告)号：CN118334682A

公开(公告)日：2024-07-12

申请号：CN202410462544.3

申请日：2024-04-17

Applicant: 重庆邮电大学

Inventor： 赵兴 ,  甘吉 ,  高新波 ,  冷佳旭 ,  胡波

IPC: G06V30/228 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06V10/766 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/042 ,  G06V10/62

Abstract: 本发明涉及人机交互、计算机视觉领域，特别涉及一种基于图形结构引导感知的跨模态手写文本识别方法，用户通过VR设备用手在空中书写英语单词，VR设备对其手势进行识别并对空中书写轨迹进行记录，对书写轨迹进行识别的过程包括：将采集的书写轨迹转换为基于骨架的几何图；构建基于时间卷积循环网络的轨迹编码器，利用该编码器从写轨迹中提取时空信息，得到书写轨迹的特征编码；构建基于金字塔图网络的图形编码器，利用该编码器从基于骨架的几何图中提取拓扑信息，得到几何图的特征编码；构建基于图形结构引导感知的跨模态解码器，将时空信息和拓扑信息作为多模态数据输入该解码器，该解码器识别得到字母序列；本发明在手写文本识别方面取得了较同时期的其他主流方法更为先进的性能。

公开(公告)号：CN119963740A

公开(公告)日：2025-05-09

申请号：CN202510125414.5

申请日：2025-01-27

Applicant: 重庆邮电大学

Inventor： 高新波 ,  陈磊 ,  甘吉 ,  冷佳旭 ,  李嫄源 ,  朱浩

IPC: G06T17/00 ,  G06V10/42 ,  G06V10/80 ,  G06V10/44 ,  G06V40/10 ,  G06T3/08 ,  G06T7/73 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0455

Abstract: 本发明属于人机交互和计算机视觉领域，特别涉及一种基于图像点云多模态融合与关节引导的手势重建方法，包括以手部深度图与三维点云作为输入，利用针对二维深度图像和三维点云的特征提取网络分别提取深度图及三维点云的关键点特征；随后利用多模态特征与全局特征融合模块，为多模态特征提供额外的全局信息；接着，使用关节坐标引导的特征融合迭代模块进一步优化和更新融合特征，以提高三维手势的重建精度，同时通过多次迭代更新实现了对手部姿态中各关键点的精确估计。本发明有效结合了深度图像信息与点云空间几何结构特征，同时采用关键点特征来聚合各自模态的特征信息，减少了无效特征的冗余交互，并提高了多模态融合的效率。

公开(公告)号：CN113947531B

公开(公告)日：2024-04-26

申请号：CN202111272653.1

申请日：2021-10-29

Applicant: 重庆邮电大学

Inventor： 冷佳旭 ,  王佳 ,  高新波 ,  徐宗懿 ,  甘吉

IPC: G06T3/4053 ,  G06T3/4046 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明属于计算机视觉领域，具体涉及一种迭代协作的视频超分辨率重构方法及系统，该方法包括：输入低分辨率视频帧序列，提取其特征图；将提取的特征图分别输入对齐网络和分频重构网络，得到时间特征图和空间特征图；利用时空残差融合模块将时间特征图和空间特征图进行融合，得到时空特征图；将得到的时空特征图再次输入到对齐网络和分频重构网络中，将对齐网络与分频重构网络输出的结果输入时空残差模块进行融合；迭代数次直到得到无冗余的时空特征图；将低分辨率视频序列进行上采样后与无冗余的时空特征图相加得到高分辨率图；本发明引入迭代协作网络、分频重构网络和时空残差融合，达到了减小了对齐误差和提升视频超分辨率重构性能的目的。

公开(公告)号：CN117409423A

公开(公告)日：2024-01-16

申请号：CN202311325667.4

申请日：2023-10-13

Applicant: 重庆邮电大学

Inventor： 陈语嫣 ,  甘吉 ,  高新波 ,  冷佳旭 ,  胡波

IPC: G06V30/228 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/0455 ,  G06F3/01 ,  G06V10/82

Abstract: 本发明涉及人机交互、计算机视觉领域，尤其涉及一种面向虚拟现实人机交互的空中手写识别方法，包括利用虚拟现实设备捕捉用户在空中进行手写的轨迹序列，得到手写轨迹序列；将手写轨迹序列投影到同一个平面，对手写轨迹序列进行矫正；将矫正后的手写轨迹序列进行规范化处理，规范化处理包括进行归一化和重采样；从规范化处理后的手写轨迹序列中提取轨迹点横轴和纵轴的偏移量、轨迹书写方向的余弦和正弦值、轨迹书写曲率的余弦和正弦值；构建基于编码器和解码器结构的神经网络注意力模型，将提取的特征输入该模型进行识别，然后输出识别结果；本发明在保证较高的识别准确率的同时，显著提升了空中手写的识别速度。

公开(公告)号：CN116468722A

公开(公告)日：2023-07-21

申请号：CN202310587482.4

申请日：2023-05-23

Applicant: 重庆邮电大学

Inventor： 林金朝 ,  朱广 ,  高新波 ,  胡波 ,  甘吉 ,  冷佳旭

IPC: G06T7/00 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/088

Abstract: 本发明涉及一种基于图对比的无参考图像质量评价方法，包括：将组合失真图像对输入图表征生成模型生成初始特征图；将初始特征图输入正负失真对比样本生成模型生成正例失真关系图结构和负例失真关系图结构；将正例失真关系图结构和负例失真关系图结构分别输入对比学习编码器模型得到正样本特征向量和负样本特征向量；计算对比损失函数；将正例失真关系图结构和负例失真关系图结构中的嵌入节点进行分离，将节点的特征信息分别输入失真类型预测模型计算预测损失函数；对对比损失函数和预测损失函数进行交替性优化，将节点的特征信息输入训练好的质量分数回归模型输出对应的质量评价分数。

公开(公告)号：CN118334682B

公开(公告)日：2024-10-29

申请号：CN202410462544.3

申请日：2024-04-17

Applicant: 重庆邮电大学

Inventor： 赵兴 ,  甘吉 ,  高新波 ,  冷佳旭 ,  胡波

IPC: G06V30/228 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06V10/766 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/042 ,  G06V10/62

Abstract: 本发明涉及人机交互、计算机视觉领域，特别涉及一种基于图形结构引导感知的跨模态手写文本识别方法，用户通过VR设备用手在空中书写英语单词，VR设备对其手势进行识别并对空中书写轨迹进行记录，对书写轨迹进行识别的过程包括：将采集的书写轨迹转换为基于骨架的几何图；构建基于时间卷积循环网络的轨迹编码器，利用该编码器从写轨迹中提取时空信息，得到书写轨迹的特征编码；构建基于金字塔图网络的图形编码器，利用该编码器从基于骨架的几何图中提取拓扑信息，得到几何图的特征编码；构建基于图形结构引导感知的跨模态解码器，将时空信息和拓扑信息作为多模态数据输入该解码器，该解码器识别得到字母序列；本发明在手写文本识别方面取得了较同时期的其他主流方法更为先进的性能。

公开(公告)号：CN117058691A

公开(公告)日：2023-11-14

申请号：CN202310553707.4

申请日：2023-05-16

Applicant: 重庆邮电大学

Inventor： 甘吉 ,  高新波 ,  冷佳旭 ,  胡波

IPC: G06V30/228 ,  G06T17/00 ,  G06T7/246 ,  G06V10/82 ,  G06V10/26 ,  G06V10/46 ,  G06N3/0464

Abstract: 本发明属于人机交互和计算机视觉领域，特别涉及一种基于三维手势重建的空中手写交互方法，包括：获取用户空中手写交互的彩色图像数据流，并输入到深度神经网络中进行手部核心区域分割和手部关节点二维信息提取；将手部核心区域图和手部关节点二维信息输入到解码网络中估计三维空间中用户的手势模型，并对手势模型进行约束重建；根据重建后的三维手势模型实时获取用户的指尖运动轨迹，采用时序卷积循环神经网络对指尖运动轨迹进行识别，得到空中手写交互识别结果；本发明使用时序卷积循环网络来直接处理手写运动轨迹，不但能够识别输出手写文本行，而且还具备更高的识别精度、更小的计算开销和模型存储，提升了系统的实用性和普及性。