-
公开(公告)号:CN112183315A
公开(公告)日:2021-01-05
申请号:CN202011030408.5
申请日:2020-09-27
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本发明提供了一种动作识别模型训练方法和动作识别方法及装置。训练方法包括:获取预设动作节点集合中的所有节点的节点数据;根据所述节点数据,计算所述节点集合中所有节点的连接边集合和每条连接边的边数据;根据所述节点数据和所述连接边的边数据,构建动作数据的图结构;以所述动作数据的图结构作为模型输入,表情识别分类结果作为模型输出,对预设的图卷积神经网络表情识别模型进行有监督训练;其中,以所述动作数据的图结构中的所述连接边的边数据作为模型输入。基于图结构来记录和计算动作数据,进一步提升了参与深度学习的有效数据量,可以获得更好的识别精度,且减少对样本数据精确度的依赖。
-
公开(公告)号:CN112183314B
公开(公告)日:2023-12-12
申请号:CN202011030333.0
申请日:2020-09-27
Applicant: 哈尔滨工业大学(深圳)
IPC: G06V40/16 , G06V10/147 , G06V10/774 , G06V10/82 , G06N3/042 , G01B7/16
Abstract: 本发明提供了一种表情信息采集装置和表情识别方法及系统。表情信息采集装置包括:用于贴合于面部的柔性面膜基底和多个设置于所述面膜基底上的压电薄膜传感器,用于检测人脸的表情动作。表情识别方法包括获取表情信息采集装置采集的预设面部节点集合中所有节点的节点数据,节点数据包括节点的空间位置和节点表情数据的时间序列;根据节点数据,使用经过预训练的图卷积神经网络表情识别模型进行面部表情识别。节点数据利用了传感器直接采集人脸的肌肉和皮肤动作信息,未经图像形式的降维带来的信息损失和失真,更精确信息量更大。传感器的图拓扑分布与图神经网络数据处理方式在数据结构上的内在契合,使得GCN能够得到更好的表情识别结果。
-
公开(公告)号:CN112183315B
公开(公告)日:2023-06-27
申请号:CN202011030408.5
申请日:2020-09-27
Applicant: 哈尔滨工业大学(深圳)
IPC: G06V40/16 , G06V10/774
Abstract: 本发明提供了一种动作识别模型训练方法和动作识别方法及装置。训练方法包括:获取预设动作节点集合中的所有节点的节点数据;根据所述节点数据,计算所述节点集合中所有节点的连接边集合和每条连接边的边数据;根据所述节点数据和所述连接边的边数据,构建动作数据的图结构;以所述动作数据的图结构作为模型输入,表情识别分类结果作为模型输出,对预设的图卷积神经网络表情识别模型进行有监督训练;其中,以所述动作数据的图结构中的所述连接边的边数据作为模型输入。基于图结构来记录和计算动作数据,进一步提升了参与深度学习的有效数据量,可以获得更好的识别精度,且减少对样本数据精确度的依赖。
-
公开(公告)号:CN115827239A
公开(公告)日:2023-03-21
申请号:CN202211603470.8
申请日:2022-12-13
Applicant: 哈尔滨工业大学 , 哈尔滨工业大学(深圳)
IPC: G06F9/50
Abstract: 本发明提出了一种基于深度强化学习的动态频率和深度学习模型卸载联合调节方法及系统,首先建立边缘设备能耗最小化模型;然后构建基于DVFS的边云协同推理框架,以联合优化边缘设备的能耗和端到端延迟;再构建基于DRL的增强型DVFS优化算法DVFO,通过联合优化边缘设备的计算频率和特征图的卸载比例来减少边缘设备的整体能耗;最后建立卸载机制,以解决特征图的卸载瓶颈问题,避免特征图的大小直接影响边云协同推理的端到端延迟;本发明用于云边协同推理中的DNN特征图卸载,使用“边移动边思考”并发策略的强化学习算法为每个任务计算特征图的最佳卸载比和边缘设备的计算频率,以最小化边缘设备的能耗。
-
公开(公告)号:CN112183314A
公开(公告)日:2021-01-05
申请号:CN202011030333.0
申请日:2020-09-27
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本发明提供了一种情信息采集装置和表情识别方法及系统。表情信息采集装置包括:用于贴合于面部的柔性面膜基底和多个设置于所述面膜基底上的压电薄膜传感器,用于检测人脸的表情动作。表情识别方法包括获取表情信息采集装置采集的预设面部节点集合中所有节点的节点数据,节点数据包括节点的空间位置和节点表情数据的时间序列;根据节点数据,使用经过预训练的图卷积神经网络表情识别模型进行面部表情识别。节点数据利用了传感器直接采集人脸的肌肉和皮肤动作信息,未经图像形式的降维带来的信息损失和失真,更精确信息量更大。传感器的图拓扑分布与图神经网络数据处理方式在数据结构上的内在契合,使得GCN能够得到更好的表情识别结果。
-
公开(公告)号:CN111984119A
公开(公告)日:2020-11-24
申请号:CN202010832352.9
申请日:2020-08-18
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F3/01
Abstract: 本发明提供了一种手势识别模型建立方法、手势识别方法、装置及数据手套,手势识别模型建立方法包括:获取数据手套完成标定动作时所述数据手套的各个传感器采集到数据的采集时间;基于预设规则,根据各个所述传感器的所述采集时间确定各个所述传感器之间的语义关系;根据各个所述传感器之间的所述语义关系建立基于图注意力网络的手势识别模型。本发明的技术方案根据各个传感器之间的语义关系建立用于手势识别的手势识别模型,能够提高手势识别精度,且识别速度快。
-
公开(公告)号:CN214958885U
公开(公告)日:2021-11-30
申请号:CN202120953483.2
申请日:2021-05-07
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本实用新型提供了一种物联网系统,包括多个用于采集信息的子设备,子设备的电源电路中USB接口的电源引脚用作第一供电电源,接地引脚接地,且USB接口的第一数据引脚分别连接至第一二极管的阳极和第二二极管的阴极,第一二极管的阴极连接至第三二极管的阴极,第二二极管的阳极接地,USB接口的第二数据引脚分别与第三二极管的阳极和第四二极管的阴极电连接,第四二极管的阳极接地,且第四二极管的阳极还连接至第五二极管的阳极,第五二极管的阴极连接至第三二极管的阴极,第三二极管的阴极连接至USB接口的电源引脚。本实用新型的技术方案能够提高数据处理能力,解决本地存储能力不足的问题,且防止电源电路中的静电损害设备。
-
公开(公告)号:CN214333884U
公开(公告)日:2021-10-01
申请号:CN202120575017.5
申请日:2021-03-22
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本实用新型提供了一种信号采集电路及信号处理系统,电路包括多个传感器、多路复用器、信号调理电路、模数转换器、衰减电路和控制器,多个所述传感器的输出端分别与所述多路复用器的多个第一端电连接,所述多路复用器的第二端与所述信号调理电路的第一端电连接,所述多路复用器的第三端与所述控制器的第三端电连接,所述信号调理电路的第二端与所述模数转换器的第一端电连接,所述模数转换器的第三端通过所述衰减电路连接至所述信号调理电路的第三端,所述模数转换器的第二端与所述控制器的第一端电连接,所述衰减电路适于调节所述信号调理电路的输出电压。本实用新型的技术方案提高了模数转换器输入电压的稳定性。
-
-
-
-
-
-
-