-
公开(公告)号:CN118916518A
公开(公告)日:2024-11-08
申请号:CN202411411688.2
申请日:2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/738 , G06F16/735 , G06N5/022 , G06F16/783
Abstract: 本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统,抽取视频片段的多个视频帧的信息,得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合,进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图;将第一常识图、第二常识图和第三常识图整合后采用图注意力网络,得到所有物体的表征,将所有物体的表征与向量表征集合拼接成为视频表征,以所述视频表征与提示词文本作为大语言模型的输入,得到视频片段的摘要文本描述;本发明通过融合常识知识、场景知识和时空知识,提升了视频摘要生成的准确性和全面性。
-
公开(公告)号:CN115294483A
公开(公告)日:2022-11-04
申请号:CN202211186043.4
申请日:2022-09-28
Applicant: 山东大学 , 浙江大华技术股份有限公司 , 国网浙江省电力有限公司温州供电公司 , 智洋创新科技股份有限公司 , 华北电力大学(保定) , 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提供一种输电线路复杂场景的小目标识别方法及系统,属于输电线路技术领域,通过天气分类器对输电线路图像进行环境亮度判定,并利用基于注意力机制的Weather GAN模型进行天气转化处理后,利用yolov5模型进行输电线路的小目标检测,达到了消除或弱化天气因素对输电线路的小目标检测带来的影响;通过数据增强弱化了复杂背景对小目标的影响,增强了模型的鲁棒性和泛化能力;通过对yolov5模型的特征提取网络结构进行优化,丰富了小目标的语义信息和位置信息,进而达到提高小目标识别的准确率和识别效率的技术效果。
-
公开(公告)号:CN115272981A
公开(公告)日:2022-11-01
申请号:CN202211169176.0
申请日:2022-09-26
Applicant: 山东大学 , 华北电力大学(保定) , 智洋创新科技股份有限公司 , 南瑞集团有限公司 , 国网浙江省电力有限公司温州供电公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/52 , G06N3/04 , G06N3/08 , G06N5/02 , G06N5/04 , G06V10/774 , G06V10/778 , G06V10/82 , G07C1/20
Abstract: 本发明涉及输电线路巡检技术领域,具体涉及一种云边共学习输电巡检方法与系统,包括云计算中心与边缘计算终端共同完成图像分析;云计算中心和边缘计算终端分别部署对应的图像处理模型;在边缘计算终端进行一次推理后过滤掉大部分不包含有效目标的图像,仅对少部分包含有效目标的图像进行收集与回流,满足了对推理时效性的要求,并显著降低了数据传输成本;回流至云计算中心的图像在此进行二次推理,通过大模型预训练和基于知识蒸馏的模型压缩技术,同时确保了云端与边端对图像处理的精度要求;回流至云端的数据将还作为增量数据集,定期在云端对模型进行增量训练,以提高模型的精度;云端模型也将定期压缩同步至边端,保证云边模型效能一致。
-
公开(公告)号:CN115238880A
公开(公告)日:2022-10-25
申请号:CN202211146873.4
申请日:2022-09-21
Applicant: 山东大学 , 华北电力大学(保定) , 智洋创新科技股份有限公司 , 南瑞集团有限公司 , 国网浙江省电力有限公司温州供电公司 , 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提供一种输电巡检终端的自适应部署方法、系统、设备以及存储介质,属于人工智能技术领域,通过搭建适配于所有输电巡检终端的超级网络;选择各变化维度中的参数最小值的子网络作为超级网络的基础模型,并对基础模型进行训练;选择单一变化维度作为变量,根据渐进策略获取采样扩展候选集,在采样扩展候选集中搜索设定数量的扩展子网络进行训练,并更新新增的网络参数;直至遍历所有子网络;通过神经网络搜索筛选最佳子网络,并基于最佳子网络对目标输电巡检终端进行部署。本发明在实现了节省计算资源的基础上,达到了确保子网络的精确度,有效缓解子网络之间相互干扰的显著效果。
-
公开(公告)号:CN119478794A
公开(公告)日:2025-02-18
申请号:CN202510051849.X
申请日:2025-01-14
Applicant: 天津理工大学 , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06V20/40 , G06V10/80 , G06T17/00 , G06F18/213 , G06F18/25 , G06F16/783
Abstract: 本发明涉及计算机视觉和自然语言处理技术领域,尤其涉及一种基于渐进式交互和多模态对齐的视频片段句子定位算法。步骤如下:首先将与视频相关的所有查询句子根据该查询句子对应的视频片段在视频中的顺序进行排序后与视频特征和在特征维度进行拼接,再将其经过多模态对齐模块提取视频与查询句子特征各自的模态内信息以及两个模态之间的信息,随后根据与查询句子交互后的视频特征生成多个候选片段,通过分组候选片段交互模块学习候选片段之间的关系,然后通过度量学习缩小对应的候选片段特征与查询句子特征对的差异,最后将所有候选片段特征与单个查询句子特征计算匹配分数,分数高的作为预测结果。本发明可以精准地对视频片段进行定位。
-
公开(公告)号:CN118897905A
公开(公告)日:2024-11-05
申请号:CN202411388560.9
申请日:2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/735 , G06F16/783 , G06F16/738 , G06N3/0455 , G06N3/08
Abstract: 本发明属于视频检索技术领域,提供了一种基于细粒度时空关联建模的视频片段定位方法及系统,其技术方案为:获取视频片段,利用时空查询表示,隐式挖掘视频片段中潜在所有物体信息;随后,基于时空表示多维交互模块,充分建模物体间时空关联关系;之后,通过有机融合局部和全局表示,全面提升视频片段的表示能力;最后,依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。
-
公开(公告)号:CN110555060B
公开(公告)日:2023-05-02
申请号:CN201910849336.8
申请日:2019-09-09
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/2458 , G06F18/214 , G06N3/0464 , G06N3/0442
Abstract: 本发明属于图像分类和迁移学习技术领域,公开了一种基于成对样本匹配的迁移学习方法,实现了对基于不同域的样本内在关系的挖掘。具体包含以下步骤:(1)数据预处理,(2)基于迁移学习的双链模型构建,(3)实例归一化和批量归一化,(4)计算对比损失和最大均值距离损失。本发明的优点是通过结合实例归一化和批归一化同时进行学习,充分挖掘不同图像的风格和语义关联特性,实现在源域辅助下对少量目标域样本的高效识别。
-
公开(公告)号:CN110543581B
公开(公告)日:2023-04-04
申请号:CN201910848660.8
申请日:2019-09-09
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/55 , G06F16/583 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 该发明属于计算机视觉及深度学习领域,针对当前基于视图的深度学习方法不能捕获三维模型全面的空间信息的缺点,基于非局部图卷积网络的多视图三维模型检索方法挖掘融合多视图的高响应特征,从而得到单一紧凑的高辨别性模型描述符。其优越性能在三维模型检索中得到验证。该发明具体包含以下步骤:(1)获取模型的多视角图像,(2)多视角图像预处理,(3)设计非局部图卷积网络,(4)非局部图卷积网络训练,(5)提取模型深度特征,(6)三维模型的检索匹配。
-
公开(公告)号:CN115240075B
公开(公告)日:2022-12-13
申请号:CN202211154588.7
申请日:2022-09-22
Applicant: 山东大学 , 智洋创新科技股份有限公司 , 国网浙江省电力有限公司温州供电公司 , 华北电力大学(保定) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/10 , G06V10/25 , G06V10/40 , G06V10/764 , G06V10/774 , G06V10/82 , G06T5/00 , G06N3/04 , G06N3/08
Abstract: 本发明涉及输电线路巡检技术领域,具体涉及一种电力视觉多粒度预训练大模型的构建与训练方法,包括图像修复、图像分类、目标检测、图像描述四个粒度层级的视觉任务;采用多阶段的大模型训练方法,使得模型具有数据挖掘、增量训练和模型进化的功能;其中,第一阶段在海量公开数据集上训练,输出预训练大模型;第二阶段在大量无标签电力场景数据集上进行自监督训练,输出电力视觉多粒度预训练大模型;第三阶段利用大模型针对电力数据集进行隐患图像筛选,大大减轻了人工筛选代价,将隐患图像数据交由人工进行精细化标注,再次输入大模型进行迭代优化,使得视觉预训练大模型更加适配电力场景视觉任务需求。
-
公开(公告)号:CN115272777A
公开(公告)日:2022-11-01
申请号:CN202211169230.1
申请日:2022-09-26
Applicant: 山东大学 , 智洋创新科技股份有限公司 , 国网浙江省电力有限公司温州供电公司 , 浙江大华技术股份有限公司 , 华北电力大学(保定) , 山东省计算中心(国家超级计算济南中心)
IPC: G06V10/764 , G06V10/772 , G06V10/774 , G06V10/82 , G06N3/08
Abstract: 本发明涉及输电线路巡检技术领域,具体涉及一种面向输电场景的半监督图像解析方法,包括以下步骤:S1:数据预处理:人工标注部分输电线路场景的分类数据集和目标检测数据集;S2:数据集的增广和模型优化训练:使用动态参数混合数据增广框架对有标注数据集进行数据增广和模型优化训练,将参数化后的混合数据增广策略融入到判别模型中;S3:半监督训练方法改良:基于S2中经过动态参数混合数据增广优化的模型,使用基于队列优化的鲁棒半监督训练方法,以最优队列的标签筛选策略替换传统的固定高阈值策略,来筛选高置信度伪标签以计算无监督损失;S4:获取S3中预训练好的模型参数,在输电线路图像解析的下游任务中测试效果。
-
-
-
-
-
-
-
-
-