-
公开(公告)号:CN118897905B
公开(公告)日:2025-01-21
申请号:CN202411388560.9
申请日:2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/735 , G06F16/783 , G06F16/738 , G06N3/0455 , G06N3/08
Abstract: 本发明属于视频检索技术领域,提供了一种基于细粒度时空关联建模的视频片段定位方法及系统,其技术方案为:获取视频片段,利用时空查询表示,隐式挖掘视频片段中潜在所有物体信息;随后,基于时空表示多维交互模块,充分建模物体间时空关联关系;之后,通过有机融合局部和全局表示,全面提升视频片段的表示能力;最后,依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。
-
公开(公告)号:CN119295886A
公开(公告)日:2025-01-10
申请号:CN202411844794.X
申请日:2024-12-16
Applicant: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06V10/80 , G06V10/44 , G06V10/774 , G06V10/82 , G06V20/62 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于多尺度特征融合的X‑ray图像违禁品检测方法,属于图像处理技术领域。其包括以下步骤:获取X‑ray违禁品数据集,并将数据集划分为训练集和测试集;构建基于多尺度特征融合的X‑ray图像违禁品目标检测模型,所述模型包括图像分支、自适应高低通滤波器模块、文本分支、Neck层和Head头;训练集中图像输入到模型中对模型进行训练;采用损失函数对模型进行优化,得到训练好的模型;测试集中图像输入到训练好的模型中,得到违禁品检测结果。本发明通过图像文本的联合训练,在实时监测任务中提升性能的同时更加高效,减少计算量和内存占用,解决了复杂场景中图像边界细节模糊问题。
-
公开(公告)号:CN118916518B
公开(公告)日:2024-12-17
申请号:CN202411411688.2
申请日:2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/738 , G06F16/735 , G06N5/022 , G06F16/783
Abstract: 本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统,抽取视频片段的多个视频帧的信息,得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合,进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图;将第一常识图、第二常识图和第三常识图整合后采用图注意力网络,得到所有物体的表征,将所有物体的表征与向量表征集合拼接成为视频表征,以所述视频表征与提示词文本作为大语言模型的输入,得到视频片段的摘要文本描述;本发明通过融合常识知识、场景知识和时空知识,提升了视频摘要生成的准确性和全面性。
-
公开(公告)号:CN118939682A
公开(公告)日:2024-11-12
申请号:CN202411425826.2
申请日:2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/2452 , G06F16/242 , G06N5/022
Abstract: 本发明提供了一种基于知识引导的层级查询语句意图理解方法及系统,涉及自然语言处理技术领域,所述方法包括,获取查询语句,将查询语句转换为不同层级的语义嵌入向量;将外部知识图谱转化为知识嵌入矩阵,检索知识嵌入矩阵中与各层级的语义嵌入向量最相关的知识嵌入向量,将检索到的知识嵌入向量与对应的语义嵌入向量融合,得到各层级融合后的语义嵌入向量;根据各层级融合后的语义嵌入向量获取权重矩阵,计算权重重分配后的语义嵌入向量;基于注意力机制融合权重重分配后的语义嵌入向量与文本嵌入向量,得到查询语句的精确表征,确定查询语句的意图。本发明能够提高查询语句的理解与表征精准度。
-
公开(公告)号:CN115240093B
公开(公告)日:2022-12-23
申请号:CN202211154583.4
申请日:2022-09-22
Applicant: 山东大学 , 国网浙江省电力有限公司温州供电公司 , 华北电力大学(保定) , 浙江大华技术股份有限公司 , 智洋创新科技股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/17 , G06V20/64 , G06V10/26 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G07C1/20 , G01S7/48 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法,将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割相结合,能够提高了检测的准确度和效率。包括如下步骤:输电通道航拍,收集三维点云和二维可见光图像数据;构建数据集;模型训练;基于激光雷达点云自动规划航线巡检;外破隐患检测与测距;杆塔本体隐患检测与定位。
-
公开(公告)号:CN115240093A
公开(公告)日:2022-10-25
申请号:CN202211154583.4
申请日:2022-09-22
Applicant: 山东大学 , 国网浙江省电力有限公司温州供电公司 , 华北电力大学(保定) , 浙江大华技术股份有限公司 , 智洋创新科技股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/17 , G06V20/64 , G06V10/26 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G07C1/20 , G01S7/48 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法,将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割相结合,能够提高了检测的准确度和效率。包括如下步骤:输电通道航拍,收集三维点云和二维可见光图像数据;构建数据集;模型训练;基于激光雷达点云自动规划航线巡检;外破隐患检测与测距;杆塔本体隐患检测与定位。
-
公开(公告)号:CN111738306A
公开(公告)日:2020-10-02
申请号:CN202010487922.5
申请日:2020-06-01
Applicant: 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心)
Abstract: 一种基于块卷积神经网络的多视图三维模型检索方法,通过针对多视图图像,使用块卷积层在视图特征的提取过程中挖掘视图之间的内在联系。根据每个视图特征与最大视图池化后的特征之间的余弦相似度来给每个视图分配不同的权重,利用了视图特征之间区分性,得到更有区分性的模型特征。在生成损失函数时不仅考虑了模型特征还考虑了视图特征,可以更好约束网络进行学习。该基于块卷积神经网络的多视图三维模型检索方法在相关的三维模型检索数据集中达到了优良的性能。
-
公开(公告)号:CN110543581A
公开(公告)日:2019-12-06
申请号:CN201910848660.8
申请日:2019-09-09
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/55 , G06F16/583 , G06K9/62
Abstract: 该发明属于计算机视觉及深度学习领域,针对当前基于视图的深度学习方法不能捕获三维模型全面的空间信息的缺点,基于非局部图卷积网络的多视图三维模型检索方法挖掘融合多视图的高响应特征,从而得到单一紧凑的高辨别性模型描述符。其优越性能在三维模型检索中得到验证。该发明具体包含以下步骤:(1)获取模型的多视角图像,(2)多视角图像预处理,(3)设计非局部图卷积网络,(4)非局部图卷积网络训练,(5)提取模型深度特征,(6)三维模型的检索匹配。
-
公开(公告)号:CN110321473A
公开(公告)日:2019-10-11
申请号:CN201910424586.7
申请日:2019-05-21
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/9535 , G06F17/50 , G06K9/62 , G06Q30/02 , G06Q30/06
Abstract: 本公开提供了一种基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备,本公开对商品交易数据集进行预处理并对对应的用户评论信息和商品图片信息进行特征提取;通过融合用户的评论信息和商品的图片信息特征得到商品的多模态表示;将获得的商品的多模态表示、用户向量和商品向量输入到神经网络模型中,最后通过计算用户向量和商品向量之间的欧式距离来估计用户对商品的偏好程度,依据偏好程度的排序,进行信息的推送或显示;本公开利用多模态信息提升了模型的推荐效果,通过注意力机制解决了用户偏好的多样性问题。
-
公开(公告)号:CN119478794A
公开(公告)日:2025-02-18
申请号:CN202510051849.X
申请日:2025-01-14
Applicant: 天津理工大学 , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06V20/40 , G06V10/80 , G06T17/00 , G06F18/213 , G06F18/25 , G06F16/783
Abstract: 本发明涉及计算机视觉和自然语言处理技术领域,尤其涉及一种基于渐进式交互和多模态对齐的视频片段句子定位算法。步骤如下:首先将与视频相关的所有查询句子根据该查询句子对应的视频片段在视频中的顺序进行排序后与视频特征和在特征维度进行拼接,再将其经过多模态对齐模块提取视频与查询句子特征各自的模态内信息以及两个模态之间的信息,随后根据与查询句子交互后的视频特征生成多个候选片段,通过分组候选片段交互模块学习候选片段之间的关系,然后通过度量学习缩小对应的候选片段特征与查询句子特征对的差异,最后将所有候选片段特征与单个查询句子特征计算匹配分数,分数高的作为预测结果。本发明可以精准地对视频片段进行定位。
-
-
-
-
-
-
-
-
-