-
公开(公告)号:CN116993908A
公开(公告)日:2023-11-03
申请号:CN202310894835.5
申请日:2023-07-20
Applicant: 杭州电子科技大学
Inventor: 朱尊杰 , 魏宇鑫 , 颜成钢 , 张文豪 , 路荣丰 , 赵思成 , 孙垚棋 , 王帅 , 高宇涵 , 王鸿奎 , 赵治栋 , 殷海兵 , 张继勇 , 李宗鹏 , 丁贵广 , 付莹 , 郭雨晨
Abstract: 本发明公开了一种多传感器信息融合的相机定位和三维重建方法。本发明方法分为前端和后端两个线程来实现三维模型的重建。前端线程通过融合多个、多种传感器实现了更加鲁棒的位姿估计以及更加高效的场景地图重建。后端线程在提供了准确的回环检测后构建位姿图优化,进而获得了更为精确的相机位姿估计以及更高的三维地图质量。
-
公开(公告)号:CN116884030A
公开(公告)日:2023-10-13
申请号:CN202310633556.3
申请日:2023-05-31
IPC: G06V40/10 , G06V10/74 , G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提出了基于语义对齐和相似度推理的跨模态行人重识别方法及系统,属于计算机视觉技术领域。首先预处理跨模态数据集,利用数据增广技术增加数据的多样性。然后使用分类损失函数、中心分离损失函数和原型多样性损失函数,对特征提取深度卷积网络进行训练。利用训练好的深度卷积神经网络,对行人图像进行特征提取,使用语义对齐实现潜在语义局部特征的对齐。最后利用相似度推理技术,根据语义对齐的特征向量计算图像间的距离,得到最终匹配结果。本发明有效解决了由行人姿态不对齐导致的特征向量语义不对齐问题,实现简单、性能高、鲁棒性强。本发充分挖掘图像间的相似度关系,优化距离计算,有利于实现高准确度和高稳定性的跨模态行人重识别。
-
公开(公告)号:CN116740286A
公开(公告)日:2023-09-12
申请号:CN202310782575.2
申请日:2023-06-29
Applicant: 杭州电子科技大学
Inventor: 颜成钢 , 任浩帆 , 李宗鹏 , 丁贵广 , 付莹 , 郭雨晨 , 赵思成 , 孙垚棋 , 朱尊杰 , 王帅 , 高宇涵 , 王鸿奎 , 赵治栋 , 殷海兵 , 张继勇 , 薛安克
IPC: G06T17/00 , G06T5/00 , G06T7/11 , G06T7/66 , G06V20/10 , G06V10/30 , G06V10/762 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/045 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于深度学习的快速增量式室内语义建图方法,首先构造识别墙面、地板和天花板的主平面识别深度神经网络;对于增量式的RGBD序列,基于主平面识别深度神经网络获取序列的每一帧彩色图中的墙面、地板和天花板的掩膜;根据获取的掩膜进行快速的物体聚类后,通过相机内外参数,获得点云簇;计算聚类后物体的属性,构建图神经网络所需的图表示,通过图神经网络获取语义信息,从而实现语义建图。本发明无需提前获取完整的三维地图,在机器人运动的过程当中就可以获取语义信息,而且处理速度较快。
-
公开(公告)号:CN119230006A
公开(公告)日:2024-12-31
申请号:CN202411275784.9
申请日:2024-09-12
Applicant: 杭州电子科技大学
IPC: G16C20/30 , G16C20/70 , G06N3/042 , G06N3/0464 , G06N3/096
Abstract: 本发明公开了一种基于多任务图神经网络的分子属性预测方法,首先根据场景确定分子属性预测任务;然后根据确定的任务选择相关训练数据并进行预处理;针对每个任务搭建使用图神经网络训练;再结合所有任务,组成多任务图神经网络,确定全局目标损失函数;最后基于预处理后的数据对多任务图神经网络进行训练,得到最优的图神经网络模型。本发明针对分子结构相关的图数据保持良好的学习效率,在预测分子结构全局或者局部性质上有良好的表现。本发明提升了分子结构的预测速度和效率,相比较传统方法有着较大提升,是深度学习和分子结构预测的良好融合。
-
公开(公告)号:CN118587341A
公开(公告)日:2024-09-03
申请号:CN202410682122.7
申请日:2024-05-29
Applicant: 杭州电子科技大学
IPC: G06T15/00 , G06T9/00 , G06N3/0455 , G06N3/048 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于位置编码增强的点云渲染方法、系统及设备。本发明在神经网络训练阶段需要与点云观察视角对齐的2D图片。在训练过程当中,首先对点云做位置编码。本发明使用超参网络和高斯采样来增强位置编码,之后再输入渲染网络得到最后结果。其中位置编码增强网络中的超参网络具体实现如下:首先将超参网络中的线性层Ⅰ视为低频段sin(wx+b)的ω和b;其次定义ReLU层中的激活函数;最后将超参网络中的线性层Ⅱ视为高频段sin(wx+b)的ω和b。本发明使得位置编码的过程参与神经网络整个可微过程的优化,从而生成更加准确和精细的渲染图像。
-
公开(公告)号:CN117274855A
公开(公告)日:2023-12-22
申请号:CN202311058507.8
申请日:2023-08-22
Applicant: 杭州电子科技大学丽水研究院
Inventor: 颜成钢 , 金裕达 , 郭雨晨 , 赵思成 , 孙垚棋 , 朱尊杰 , 高宇涵 , 王鸿奎 , 赵治栋 , 殷海兵 , 王帅 , 张继勇 , 李宗鹏 , 丁贵广 , 付莹 , 李晓林 , 沙雏淋
IPC: G06V20/40 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于多维度信息交互的视频特征提取方法,首先进行数据集获取,采用现有的视频分类数据集;构建基于多维度信息交互的视频特征提取网络,包括前缀卷积网络、时空可分离编码器和视频分类器;之后构建损失函数,最后根据获取的数据集对构建的基于多维度信息交互的视频特征提取网络进行训练。本发明将时序信息交互与空间信息交互相结合,弥补了两者不能共存的短板。使用前缀卷积网络以及时间空间可分离注意力机制,减少了大量的算力开销。
-
公开(公告)号:CN117224082A
公开(公告)日:2023-12-15
申请号:CN202311186717.5
申请日:2023-09-14
Applicant: 杭州电子科技大学
Inventor: 颜成钢 , 杨鸿群 , 何敏 , 李晓林 , 沙雏淋 , 赵思成 , 高宇涵 , 孙垚棋 , 朱尊杰 , 王帅 , 王鸿奎 , 殷海兵 , 张继勇 , 李宗鹏 , 赵治栋 , 丁贵广 , 付莹 , 郭雨晨
Abstract: 本发明公开了一种基于图学习优化算法的动态脑功能网络学习方法。首先确定脑网络的基本数学模型,然后预处理真实的神经影像数据;构建求取动态脑功能连接网络的目标函数;最后确定求取动态脑功能连接网络的求解方法。本发明方法可以从fMRI信号中直接求取大脑的动态功能连接网络。动态脑功能连接网络能更加合理准确的反映出脑区之间的连接强度和脑网络的拓扑结构。
-
公开(公告)号:CN117079310A
公开(公告)日:2023-11-17
申请号:CN202311052722.7
申请日:2023-08-21
Applicant: 杭州电子科技大学
Inventor: 颜成钢 , 游泽洪 , 江涛 , 孙垚棋 , 朱尊杰 , 高宇涵 , 王鸿奎 , 赵治栋 , 殷海兵 , 王帅 , 张继勇 , 李宗鹏 , 丁贵广 , 付莹 , 郭雨晨 , 赵思成
IPC: G06V40/10 , G06V10/764 , G06V20/70 , G06V10/82 , G06V10/40 , G06V10/80 , G06V10/774 , G06F40/126 , G06N3/045 , G06N3/0499 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于图文多模态的行人重识别方法,采用Vision Transformer模型对图像和文本进行特征提取,另外还构建了一个多模态特征融合网络来将不同模态的特征进行对齐融合,从而解决了不同模态特征难以融合的问题。最后利用融合之后的特征向量与待检测行人的特征向量做损失函数就能实现图文多模态的行人重识别。本发明通过研究使用图像和文本两种不同模态的特征用于视觉行人重识别,能够有效地利用两种不同模态提供的特征,解决文本描述多变带来的困扰。
-
公开(公告)号:CN117034868A
公开(公告)日:2023-11-10
申请号:CN202311058516.7
申请日:2023-08-22
Applicant: 杭州电子科技大学
Inventor: 颜成钢 , 金裕达 , 丁贵广 , 付莹 , 郭雨晨 , 赵思成 , 孙垚棋 , 朱尊杰 , 高宇涵 , 王鸿奎 , 赵治栋 , 殷海兵 , 王帅 , 张继勇 , 李宗鹏 , 沙雏淋 , 李晓林
IPC: G06F40/151 , G06F18/214 , G06F18/27 , G06N3/0455 , G06N3/0464 , G06N3/09 , G06N3/0475
Abstract: 本发明公开了一种基于BERT的图像描述扩散生成方法,包括步骤如下:步骤1:获取训练数据集;步骤2:搭建文本自编码模型MA;步骤3:训练文本自编码模型MA;步骤4:构建扩散模型MD;步骤5:训练扩散模型MD;步骤6:联合推理。将训练好的文本自编码模型MA和扩散模型MD进行结合。本发明将bert编码器引入扩散模型,将文本信息编码成连续的形式,使用额外的文本生成网络,使用自回归方式生成预测文本;结合了自回归和扩散模型的优势。
-
公开(公告)号:CN117011769A
公开(公告)日:2023-11-07
申请号:CN202311018639.8
申请日:2023-08-14
Applicant: 杭州电子科技大学
Inventor: 陈奕礽 , 高含笑 , 颜成钢 , 殷海兵 , 赵思成 , 孙垚棋 , 朱尊杰 , 王帅 , 高宇涵 , 王鸿奎 , 赵治栋 , 张继勇 , 李宗鹏 , 丁贵广 , 付莹 , 郭雨晨
IPC: G06V20/40 , G06V10/82 , G06V10/80 , G06N3/042 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于图模型的视频显著性目标检测方法。本发明包括如下步骤:(1)提出基于图卷积网络的视频显著目标检测模型;(2)设计基于图卷积的层级间交互模块,将不同层级的时空特征作为图节点,依据跨模态特征和跨层级特征间的距离信息构建边,通过图卷积更新图节点的特征,并在通道维度上融合跨模态特征和跨层级特征,从而生成时空深度特征;(3)设计基于图卷积的特征自校正模块,将时空深度特征在空间维度上进行映射,对应若干图节点表征相应空间区域,通过图卷积更新图节点的特征。本发明充分挖了掘空间信息和时间信息;引入了图卷积网络作为提取特征的一环,推理了特征图中的显著区域,实现了多个显著目标之间的相互增强。
-
-
-
-
-
-
-
-
-