公开(公告)号：CN117351311A

公开(公告)日：2024-01-05

申请号：CN202311318267.0

申请日：2023-10-12

申请人： 国网河南省电力公司电力科学研究院 ,  国网河南省电力公司 ,  安徽大学

发明人： 毛万登 ,  田杨阳 ,  袁少光 ,  李苗苗 ,  姜亮 ,  李哲 ,  刘善峰 ,  智海燕 ,  张小斐 ,  张卓 ,  郑伟 ,  邹文杰 ,  鲍华

IPC分类号： G06V10/80 ,  G06V10/82 ,  G06V10/77 ,  G06V10/774

摘要： 本发明公开了一种基于双模态数据融合的变电站设备检测方法及系统，方法包括以下步骤：从变电站获取待测变电站设备的红外模态图像和可见光模态图像，并对红外模态图像和可见光模态图像进行预处理；基于双流‑YOLOv5神经网络，构建多模态检测模型；将预处理后的红外模态图像和可见光模态图像输入多模态检测模型，分别获得红外模态特征图以及可见光模态特征图；进行自注意力融合，经一系列特征图相加，获得融合特征图；基于融合特征图，获得目标信息；对目标信息进行目标定位，获得目标位置，完成变电站设备的检测。本发明能够更好地提高特征的表达能力，可以进一步提高变电站设备检测的准确性。

公开(公告)号：CN114332488A

公开(公告)日：2022-04-12

申请号：CN202111671961.1

申请日：2021-12-31

申请人： 安徽大学

发明人： 鲍华 ,  束平 ,  章洪潮 ,  李亲 ,  邹文杰

IPC分类号： G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种融合显著信息和多粒度上下文特征的目标跟踪方法及系统，该系统包括孪生子神经网络、多分支融合模块、全局上下文模块、注意力图模块、深度互相关模块和目标位置确定模块。运用该系统可以提取模板图片的多个特征作为模板分支特征，提取搜索图片的多个特征作为搜索分支特征；根据模板分支特征得到模板特征；根据搜索分支特征得到搜索特征；根据搜索特征和模板特征，得到搜索特征的注意力图和模板特征的注意力图；将模板特征的注意力图和搜索特征的注意力图进行深度互相关得到得分图；将得分图进行分类和回归操作，确定目标在搜索图片中的位置。避免了在跟踪目标的过程中出现遮挡、形变和旋转等情况时，可能会出现丢失目标的情况。

公开(公告)号：CN117350964A

公开(公告)日：2024-01-05

申请号：CN202311282583.7

申请日：2023-10-07

申请人： 安徽大学

发明人： 邹文杰 ,  从阔晨 ,  范波 ,  李亲

IPC分类号： G06T7/00 ,  G06T7/73 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084

摘要： 本发明公开一种基于跨模态多层次特征融合的电力设备检测方法，包括以下步骤：构建双流特征提取网络，提取可见光图像和红外图像的多层级目标表征，引入自适应融合模块捕捉可见光和红外分支模态下的互补特征，利用自注意力机制增强互补特征的表达能力并构建目标的深层表示，利用不同尺度下的融合特征捕获目标区域并实现目标的精确定位；本发明可以很好的捕捉可见光图像和红外图像的深层次特征，实现不同模态的互补融合，进行变电站实际场景的目标检测，利用目标检测的结果进行优化，可以实现可见光图像特征和红外图像特征的自适应融合和特征增强，能够有效地实现跨模态信息的融合，精确定位和识别变电站电力设备目标，并展现出较高的鲁棒性。