-
公开(公告)号:CN118916518A
公开(公告)日:2024-11-08
申请号:CN202411411688.2
申请日:2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/738 , G06F16/735 , G06N5/022 , G06F16/783
Abstract: 本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统,抽取视频片段的多个视频帧的信息,得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合,进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图;将第一常识图、第二常识图和第三常识图整合后采用图注意力网络,得到所有物体的表征,将所有物体的表征与向量表征集合拼接成为视频表征,以所述视频表征与提示词文本作为大语言模型的输入,得到视频片段的摘要文本描述;本发明通过融合常识知识、场景知识和时空知识,提升了视频摘要生成的准确性和全面性。
-
公开(公告)号:CN115294483A
公开(公告)日:2022-11-04
申请号:CN202211186043.4
申请日:2022-09-28
Applicant: 山东大学 , 浙江大华技术股份有限公司 , 国网浙江省电力有限公司温州供电公司 , 智洋创新科技股份有限公司 , 华北电力大学(保定) , 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提供一种输电线路复杂场景的小目标识别方法及系统,属于输电线路技术领域,通过天气分类器对输电线路图像进行环境亮度判定,并利用基于注意力机制的Weather GAN模型进行天气转化处理后,利用yolov5模型进行输电线路的小目标检测,达到了消除或弱化天气因素对输电线路的小目标检测带来的影响;通过数据增强弱化了复杂背景对小目标的影响,增强了模型的鲁棒性和泛化能力;通过对yolov5模型的特征提取网络结构进行优化,丰富了小目标的语义信息和位置信息,进而达到提高小目标识别的准确率和识别效率的技术效果。
-
公开(公告)号:CN115272981A
公开(公告)日:2022-11-01
申请号:CN202211169176.0
申请日:2022-09-26
Applicant: 山东大学 , 华北电力大学(保定) , 智洋创新科技股份有限公司 , 南瑞集团有限公司 , 国网浙江省电力有限公司温州供电公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/52 , G06N3/04 , G06N3/08 , G06N5/02 , G06N5/04 , G06V10/774 , G06V10/778 , G06V10/82 , G07C1/20
Abstract: 本发明涉及输电线路巡检技术领域,具体涉及一种云边共学习输电巡检方法与系统,包括云计算中心与边缘计算终端共同完成图像分析;云计算中心和边缘计算终端分别部署对应的图像处理模型;在边缘计算终端进行一次推理后过滤掉大部分不包含有效目标的图像,仅对少部分包含有效目标的图像进行收集与回流,满足了对推理时效性的要求,并显著降低了数据传输成本;回流至云计算中心的图像在此进行二次推理,通过大模型预训练和基于知识蒸馏的模型压缩技术,同时确保了云端与边端对图像处理的精度要求;回流至云端的数据将还作为增量数据集,定期在云端对模型进行增量训练,以提高模型的精度;云端模型也将定期压缩同步至边端,保证云边模型效能一致。
-
公开(公告)号:CN115238880A
公开(公告)日:2022-10-25
申请号:CN202211146873.4
申请日:2022-09-21
Applicant: 山东大学 , 华北电力大学(保定) , 智洋创新科技股份有限公司 , 南瑞集团有限公司 , 国网浙江省电力有限公司温州供电公司 , 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提供一种输电巡检终端的自适应部署方法、系统、设备以及存储介质,属于人工智能技术领域,通过搭建适配于所有输电巡检终端的超级网络;选择各变化维度中的参数最小值的子网络作为超级网络的基础模型,并对基础模型进行训练;选择单一变化维度作为变量,根据渐进策略获取采样扩展候选集,在采样扩展候选集中搜索设定数量的扩展子网络进行训练,并更新新增的网络参数;直至遍历所有子网络;通过神经网络搜索筛选最佳子网络,并基于最佳子网络对目标输电巡检终端进行部署。本发明在实现了节省计算资源的基础上,达到了确保子网络的精确度,有效缓解子网络之间相互干扰的显著效果。
-
公开(公告)号:CN110321473B
公开(公告)日:2021-05-25
申请号:CN201910424586.7
申请日:2019-05-21
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本公开提供了一种基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备,本公开对商品交易数据集进行预处理并对对应的用户评论信息和商品图片信息进行特征提取;通过融合用户的评论信息和商品的图片信息特征得到商品的多模态表示;将获得的商品的多模态表示、用户向量和商品向量输入到神经网络模型中,最后通过计算用户向量和商品向量之间的欧式距离来估计用户对商品的偏好程度,依据偏好程度的排序,进行信息的推送或显示;本公开利用多模态信息提升了模型的推荐效果,通过注意力机制解决了用户偏好的多样性问题。
-
公开(公告)号:CN119379524B
公开(公告)日:2025-05-06
申请号:CN202411918332.8
申请日:2024-12-25
Applicant: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06T1/00 , G06N3/0455 , G06N3/0475 , G06N3/09 , G06N3/094
Abstract: 本发明涉及一种基于多重水印融合与跨域学习的图像伪造主动防御方法,属于计算机视觉技术领域。其包括以下步骤:获取待处理图像;待处理图像经过水印编码器进行不可见水印嵌入和可见水印嵌入,分别得到嵌入不可见水印的图像和嵌入可见水印的图像;嵌入不可见水印的图像经过噪声层进行处理,得到噪声图像;嵌入可见水印的图像经过噪声层进行处理,通过可见水印联合优化在嵌入随机噪声的图像位置产生明显的虚假警示标识;噪声图像经过水印解码器进行图像的溯源和检测,判断图像的真实性;进行损失函数监督训练。本发明方法能够精准的判断图像是否经过深度伪造以及验证图像来源的真实性。
-
公开(公告)号:CN119478794B
公开(公告)日:2025-04-29
申请号:CN202510051849.X
申请日:2025-01-14
Applicant: 天津理工大学 , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06V20/40 , G06V10/80 , G06T17/00 , G06F18/213 , G06F18/25 , G06F16/783
Abstract: 本发明涉及计算机视觉和自然语言处理技术领域,尤其涉及一种基于渐进式交互和多模态对齐的视频片段句子定位算法。步骤如下:首先将与视频相关的所有查询句子根据该查询句子对应的视频片段在视频中的顺序进行排序后与视频特征和在特征维度进行拼接,再将其经过多模态对齐模块提取视频与查询句子特征各自的模态内信息以及两个模态之间的信息,随后根据与查询句子交互后的视频特征生成多个候选片段,通过分组候选片段交互模块学习候选片段之间的关系,然后通过度量学习缩小对应的候选片段特征与查询句子特征对的差异,最后将所有候选片段特征与单个查询句子特征计算匹配分数,分数高的作为预测结果。本发明可以精准地对视频片段进行定位。
-
公开(公告)号:CN119625792A
公开(公告)日:2025-03-14
申请号:CN202510151987.5
申请日:2025-02-12
Applicant: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06V40/10 , G06V10/82 , G06V10/764 , G06V10/74 , G06N3/0464
Abstract: 本发明涉及一种基于强化共性特征的换衣行人重识别方法及系统,属于计算机视觉技术领域。其包括以下步骤:获取待检索的行人图像数据集,并在数据集中确定原始图像和与原始图像相同身份标签的图像;数据集中图像经过衣服混合与匹配模块、人体身份增强流模块以及ResNet50模型进行特征提取,然后经过共性特征提取模块生成显著图,最后经过分类器得到分类结果;通过损失函数对前述过程进行迭代优化,得到训练好的ResNet50模型;将待检测图像输入到训练好的模型中,得到检索特征;将检索特征与检索库中的行人图像特征进行相似度匹配,得到行人重识别结果。本发明能够提取适应换衣场景下的更有鲁棒性和判别性的特征。
-
公开(公告)号:CN119379524A
公开(公告)日:2025-01-28
申请号:CN202411918332.8
申请日:2024-12-25
Applicant: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06T1/00 , G06N3/0455 , G06N3/0475 , G06N3/09 , G06N3/094
Abstract: 本发明涉及一种基于多重水印融合与跨域学习的图像伪造主动防御方法,属于计算机视觉技术领域。其包括以下步骤:获取待处理图像;待处理图像经过水印编码器进行不可见水印嵌入和可见水印嵌入,分别得到嵌入不可见水印的图像和嵌入可见水印的图像;嵌入不可见水印的图像经过噪声层进行处理,得到噪声图像;嵌入可见水印的图像经过噪声层进行处理,通过可见水印联合优化在嵌入随机噪声的图像位置产生明显的虚假警示标识;噪声图像经过水印解码器进行图像的溯源和检测,判断图像的真实性;进行损失函数监督训练。本发明方法能够精准的判断图像是否经过深度伪造以及验证图像来源的真实性。
-
公开(公告)号:CN118939682B
公开(公告)日:2025-01-14
申请号:CN202411425826.2
申请日:2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/2452 , G06F16/242 , G06N5/022
Abstract: 本发明提供了一种基于知识引导的层级查询语句意图理解方法及系统,涉及自然语言处理技术领域,所述方法包括,获取查询语句,将查询语句转换为不同层级的语义嵌入向量;将外部知识图谱转化为知识嵌入矩阵,检索知识嵌入矩阵中与各层级的语义嵌入向量最相关的知识嵌入向量,将检索到的知识嵌入向量与对应的语义嵌入向量融合,得到各层级融合后的语义嵌入向量;根据各层级融合后的语义嵌入向量获取权重矩阵,计算权重重分配后的语义嵌入向量;基于注意力机制融合权重重分配后的语义嵌入向量与文本嵌入向量,得到查询语句的精确表征,确定查询语句的意图。本发明能够提高查询语句的理解与表征精准度。
-
-
-
-
-
-
-
-
-