-
公开(公告)号:CN119942616A
公开(公告)日:2025-05-06
申请号:CN202510060439.1
申请日:2025-01-15
Applicant: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 天津理工大学
IPC: G06V40/16 , G06V10/774 , G06V10/30 , G06V10/24
Abstract: 本发明涉及扩散伪造人脸检测方法技术领域,具体涉及一种基于多模态细粒度CLIP的扩散伪造人脸检测方法,具体如下:构建分层细粒度人脸数据集,对数据集中人脸图像和对应的分层细粒度标签分别进行预处理;将预处理后得到的分层细粒度标签张量输入至细粒度文本生成器得到细粒度文本#imgabs0#,与人脸图像张量#imgabs1#形成人脸图像文本对#imgabs2#;对人脸图像文本对#imgabs3#分别进行处理,得到预测语言特征#imgabs4#和预测图像类别特征#imgabs5#;通过损失函数和Adam优化器对各模块中参数进行优化和训练,得到优化训练后的CLIP多模态细粒度模型;将待检测的图像输入至训练优化好的CLIP多模态细粒度模型中,得到最终真假判别结果。本发明可以提高扩散伪造人脸检测模型效率和跨模态检测能力。
-
公开(公告)号:CN118897905B
公开(公告)日:2025-01-21
申请号:CN202411388560.9
申请日:2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/735 , G06F16/783 , G06F16/738 , G06N3/0455 , G06N3/08
Abstract: 本发明属于视频检索技术领域,提供了一种基于细粒度时空关联建模的视频片段定位方法及系统,其技术方案为:获取视频片段,利用时空查询表示,隐式挖掘视频片段中潜在所有物体信息;随后,基于时空表示多维交互模块,充分建模物体间时空关联关系;之后,通过有机融合局部和全局表示,全面提升视频片段的表示能力;最后,依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。
-
公开(公告)号:CN119295886A
公开(公告)日:2025-01-10
申请号:CN202411844794.X
申请日:2024-12-16
Applicant: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06V10/80 , G06V10/44 , G06V10/774 , G06V10/82 , G06V20/62 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于多尺度特征融合的X‑ray图像违禁品检测方法,属于图像处理技术领域。其包括以下步骤:获取X‑ray违禁品数据集,并将数据集划分为训练集和测试集;构建基于多尺度特征融合的X‑ray图像违禁品目标检测模型,所述模型包括图像分支、自适应高低通滤波器模块、文本分支、Neck层和Head头;训练集中图像输入到模型中对模型进行训练;采用损失函数对模型进行优化,得到训练好的模型;测试集中图像输入到训练好的模型中,得到违禁品检测结果。本发明通过图像文本的联合训练,在实时监测任务中提升性能的同时更加高效,减少计算量和内存占用,解决了复杂场景中图像边界细节模糊问题。
-
公开(公告)号:CN118916518B
公开(公告)日:2024-12-17
申请号:CN202411411688.2
申请日:2024-10-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 哈尔滨工业大学(威海)
IPC: G06F16/738 , G06F16/735 , G06N5/022 , G06F16/783
Abstract: 本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统,抽取视频片段的多个视频帧的信息,得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合,进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图;将第一常识图、第二常识图和第三常识图整合后采用图注意力网络,得到所有物体的表征,将所有物体的表征与向量表征集合拼接成为视频表征,以所述视频表征与提示词文本作为大语言模型的输入,得到视频片段的摘要文本描述;本发明通过融合常识知识、场景知识和时空知识,提升了视频摘要生成的准确性和全面性。
-
公开(公告)号:CN118939682A
公开(公告)日:2024-11-12
申请号:CN202411425826.2
申请日:2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/2452 , G06F16/242 , G06N5/022
Abstract: 本发明提供了一种基于知识引导的层级查询语句意图理解方法及系统,涉及自然语言处理技术领域,所述方法包括,获取查询语句,将查询语句转换为不同层级的语义嵌入向量;将外部知识图谱转化为知识嵌入矩阵,检索知识嵌入矩阵中与各层级的语义嵌入向量最相关的知识嵌入向量,将检索到的知识嵌入向量与对应的语义嵌入向量融合,得到各层级融合后的语义嵌入向量;根据各层级融合后的语义嵌入向量获取权重矩阵,计算权重重分配后的语义嵌入向量;基于注意力机制融合权重重分配后的语义嵌入向量与文本嵌入向量,得到查询语句的精确表征,确定查询语句的意图。本发明能够提高查询语句的理解与表征精准度。
-
公开(公告)号:CN115240093B
公开(公告)日:2022-12-23
申请号:CN202211154583.4
申请日:2022-09-22
Applicant: 山东大学 , 国网浙江省电力有限公司温州供电公司 , 华北电力大学(保定) , 浙江大华技术股份有限公司 , 智洋创新科技股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/17 , G06V20/64 , G06V10/26 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G07C1/20 , G01S7/48 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法,将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割相结合,能够提高了检测的准确度和效率。包括如下步骤:输电通道航拍,收集三维点云和二维可见光图像数据;构建数据集;模型训练;基于激光雷达点云自动规划航线巡检;外破隐患检测与测距;杆塔本体隐患检测与定位。
-
公开(公告)号:CN115240093A
公开(公告)日:2022-10-25
申请号:CN202211154583.4
申请日:2022-09-22
Applicant: 山东大学 , 国网浙江省电力有限公司温州供电公司 , 华北电力大学(保定) , 浙江大华技术股份有限公司 , 智洋创新科技股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/17 , G06V20/64 , G06V10/26 , G06V10/774 , G06V10/764 , G06V10/80 , G06V10/82 , G07C1/20 , G01S7/48 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法,将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割相结合,能够提高了检测的准确度和效率。包括如下步骤:输电通道航拍,收集三维点云和二维可见光图像数据;构建数据集;模型训练;基于激光雷达点云自动规划航线巡检;外破隐患检测与测距;杆塔本体隐患检测与定位。
-
公开(公告)号:CN111738306A
公开(公告)日:2020-10-02
申请号:CN202010487922.5
申请日:2020-06-01
Applicant: 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心)
Abstract: 一种基于块卷积神经网络的多视图三维模型检索方法,通过针对多视图图像,使用块卷积层在视图特征的提取过程中挖掘视图之间的内在联系。根据每个视图特征与最大视图池化后的特征之间的余弦相似度来给每个视图分配不同的权重,利用了视图特征之间区分性,得到更有区分性的模型特征。在生成损失函数时不仅考虑了模型特征还考虑了视图特征,可以更好约束网络进行学习。该基于块卷积神经网络的多视图三维模型检索方法在相关的三维模型检索数据集中达到了优良的性能。
-
公开(公告)号:CN110543581A
公开(公告)日:2019-12-06
申请号:CN201910848660.8
申请日:2019-09-09
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/55 , G06F16/583 , G06K9/62
Abstract: 该发明属于计算机视觉及深度学习领域,针对当前基于视图的深度学习方法不能捕获三维模型全面的空间信息的缺点,基于非局部图卷积网络的多视图三维模型检索方法挖掘融合多视图的高响应特征,从而得到单一紧凑的高辨别性模型描述符。其优越性能在三维模型检索中得到验证。该发明具体包含以下步骤:(1)获取模型的多视角图像,(2)多视角图像预处理,(3)设计非局部图卷积网络,(4)非局部图卷积网络训练,(5)提取模型深度特征,(6)三维模型的检索匹配。
-
公开(公告)号:CN119379524B
公开(公告)日:2025-05-06
申请号:CN202411918332.8
申请日:2024-12-25
Applicant: 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 山东省计算中心(国家超级计算济南中心) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 合肥工业大学
IPC: G06T1/00 , G06N3/0455 , G06N3/0475 , G06N3/09 , G06N3/094
Abstract: 本发明涉及一种基于多重水印融合与跨域学习的图像伪造主动防御方法,属于计算机视觉技术领域。其包括以下步骤:获取待处理图像;待处理图像经过水印编码器进行不可见水印嵌入和可见水印嵌入,分别得到嵌入不可见水印的图像和嵌入可见水印的图像;嵌入不可见水印的图像经过噪声层进行处理,得到噪声图像;嵌入可见水印的图像经过噪声层进行处理,通过可见水印联合优化在嵌入随机噪声的图像位置产生明显的虚假警示标识;噪声图像经过水印解码器进行图像的溯源和检测,判断图像的真实性;进行损失函数监督训练。本发明方法能够精准的判断图像是否经过深度伪造以及验证图像来源的真实性。
-
-
-
-
-
-
-
-
-