-
公开(公告)号:CN117876651B
公开(公告)日:2024-05-24
申请号:CN202410281924.7
申请日:2024-03-13
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06V10/22 , G06V10/40 , G06V10/10 , G06F16/31 , G06F40/126
Abstract: 本发明涉及人工智能技术领域,公开了一种视觉定位方法、装置、设备及介质,包括:从输入图像中提取元素属性特征并输入到关联提取网络,得到元素关系特征和元素索引库;将元素关系特征和元素属性特征进行拼接,得到元素第一综合特征;从输入文本中获取文本编码特征并与元素第一综合特征进行跨模态编码,提取元素第二综合特征;对元素第二综合特征与元素索引库进行溯源编码,得到视觉溯源特征;将视觉溯源特征和文本编码特征拼接成多模态溯源特征,经定位解码器处理后输出从输入图像中定位的导致输入文本事件发生的对应元素位置。这样能够根据视觉要素和关系进行视觉因果溯源的综合推理,从而推理出人类需求在视觉上的体现,得到准确的定位结果。
-
公开(公告)号:CN117811845B
公开(公告)日:2024-05-24
申请号:CN202410230012.7
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L9/40 , H04L67/10 , H04L41/142 , G06F18/23 , G06F18/213 , G06F18/22 , G06F21/62
Abstract: 本发明公开了一种威胁检测及模型训练方法、装置、系统、电子设备、介质,应用于数据安全技术领域。其中,方法包括边缘云服务器基于各边缘计算设备的推理结果生成的有权无向图进行数据同性簇划分,同时选择簇头。边缘计算设备基于分簇信息将本地模型参数发送至相应簇头,簇头根据其簇内设备的模型参数和网络攻击特点确定攻击设备,并将去除攻击设备后的其余本地模型参数的簇内聚合结果发送至边缘云服务器进行全局聚合;根据全局模型聚合参数不断更新本地模型参数直至全局型收敛,得到执行威胁检测任务的威胁检测模型。本发明可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题,能够有效提高威胁检测精度。
-
公开(公告)号:CN117765450B
公开(公告)日:2024-05-24
申请号:CN202410186667.9
申请日:2024-02-20
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及计算机视觉技术领域,具体公开了一种视频语言理解方法、装置、设备及可读存储介质,除视频样本自带的注释文本外,还通过获取如搜索关键词或视频分段信息等视频样本的关联信息,以利用注释文本和关联信息来构建视频样本对应的文本样本,从而弥补视觉模态与文本模态弱相关的问题,在进行视频语言模型的训练时可以为模型提供更为丰富的上下文信息以帮助模型更好地理解视频内容;在视频语言模型的训练中基于该文本样本与视频样本进行视觉文本跨模态编码,解决了传统视频语言模型泛化能力差的问题,提升了计算机视觉的视频理解能力,进而可以精确响应视频语言相关问题。
-
公开(公告)号:CN117746441B
公开(公告)日:2024-05-10
申请号:CN202410186665.X
申请日:2024-02-20
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及计算机视觉领域,具体公开了一种视觉语言理解方法、装置、设备及可读存储介质,通过在训练视觉理解模型时根据样本数据集通过视觉模态和文本模态之间的互信息构建视觉文本跨模态共识信息,以进行基于视觉文本跨模态共识信息的视觉文本跨模态编码,以视觉文本跨模态共识信息为桥梁将视觉语言中蕴含的知识学习到模型中,使模型更好地理解图像或视频的内容和上下文信息,引导模型聚焦图像或视频与其对应的语言信息中的重要部分,解决了传统视觉语言模型或视频语言模型均存在的由视觉模态和文本模态语义不对齐导致的学习损失较大的问题,提升了计算机视觉的视频语言理解能力,进而精确响应视觉语言相关问题。
-
公开(公告)号:CN117911929A
公开(公告)日:2024-04-19
申请号:CN202410186654.1
申请日:2024-02-20
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06V20/40 , G06V30/148 , G06V10/774 , G06V10/764
Abstract: 本发明涉及计算机视觉领域,具体公开了一种视觉情感识别方法、装置、设备及可读存储介质,通过视觉模态和文本模态之间的互信息构建视觉文本跨模态共识信息,将视觉文本跨模态编码配置为基于视觉文本跨模态共识信息进行编码,相较于对齐编码增强了视觉文本跨模态编码表达能力,在初始视觉模型中配置文本情感评价编码、视觉文本跨模态编码以及融合编码的多头注意力机制,利用样本数据集、任务目标和各注意力头的损失值训练模型中各注意力头的权重,使视觉情感识别模型更准确地理解跨模态情感共识,进而调用视觉情感识别模型执行待处理视觉情感识别任务,实现更为准确的视觉情感识别。
-
公开(公告)号:CN117874529A
公开(公告)日:2024-04-12
申请号:CN202410275992.2
申请日:2024-03-12
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F18/214 , G06F18/22
Abstract: 本申请公开了模型训练技术领域内的一种运动轨迹预测方法、模型训练方法、装置、设备及介质。本申请使模型输入数据由目标运动轨迹的下一时刻的预测位置信息、目标运动轨迹的下一时刻的拟合位置信息、由目标运动轨迹的邻近运动轨迹计算得到的位移模仿信息、预测位置信息和位移模仿信息之间的相似程度以及基于邻近运动轨迹确定的预测位置信息的移动约束构成,那么第二轨迹预测模型可综合考虑目标运动轨迹与其所在空间内其他轨迹之间的关系,并且结合了同一目标运动轨迹的两种预测结果,能够提高轨迹预测的准确率。
-
公开(公告)号:CN117834297A
公开(公告)日:2024-04-05
申请号:CN202410230015.0
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种攻击检测方法、装置、系统、电子设备及可读存储介质,应用于数据安全技术领域。其中,方法应用于边缘计算设备的联邦学习过程中,边缘云服务器基于各边缘计算设备的初始网络模型对目标数据集的推理结果生成有权无向图,基于该有权无向图将边缘计算设备划分为多个数据同性簇,并为之选择簇头。簇头获取属于同一个簇内的边缘计算设备的本地模型参数,基于待检测攻击的攻击特点确定具有攻击特征的边缘计算设备的模型参数更新特征,根据同一簇内各边缘计算设备的本地模型参数确定是否存在攻击设备。本发明可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题,能够有效检测恶意攻击设备,提升用户数据的安全性。
-
公开(公告)号:CN117473105B
公开(公告)日:2024-04-05
申请号:CN202311827111.5
申请日:2023-12-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F16/438 , G06F16/432 , G06F16/45 , G06F16/483 , G06F40/30 , G06F18/25 , G06N3/0455
Abstract: 本申请公开了一种基于多模态预训练模型的三维内容生成方法及相关组件,涉及数据处理领域,用于解决生成三维内容速度慢的问题。该方案获取用户输入的目标文本描述;基于目标文本描述及多模态预训练模型在三维内容数据库中检索,确定第一三维内容并确定对应的第三文本描述;确定目标文本描述与第三文本描述间的文本描述差异;基于文本描述差异驱动第一三维内容变形,得到目标三维内容。本申请利用多模态预训练模型在三维内容数据库中进行检索,能够更快速地确定第一三维内容,再基于目标文本描述对其进行变形,得到与目标文本描述对应的目标三维内容,相比于从零生成三维内容,能够更快地生成符合要求的目标三维内容,提高了生成的效率和速度。
-
公开(公告)号:CN117811845A
公开(公告)日:2024-04-02
申请号:CN202410230012.7
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L9/40 , H04L67/10 , H04L41/142 , G06F18/23 , G06F18/213 , G06F18/22 , G06F21/62
Abstract: 本发明公开了一种威胁检测及模型训练方法、装置、系统、电子设备、介质,应用于数据安全技术领域。其中,方法包括边缘云服务器基于各边缘计算设备的推理结果生成的有权无向图进行数据同性簇划分,同时选择簇头。边缘计算设备基于分簇信息将本地模型参数发送至相应簇头,簇头根据其簇内设备的模型参数和网络攻击特点确定攻击设备,并将去除攻击设备后的其余本地模型参数的簇内聚合结果发送至边缘云服务器进行全局聚合;根据全局模型聚合参数不断更新本地模型参数直至全局型收敛,得到执行威胁检测任务的威胁检测模型。本发明可以解决相关技术中无法精准检测攻击导致用户数据无法得到保护的问题,能够有效提高威胁检测精度。
-
公开(公告)号:CN117808125A
公开(公告)日:2024-04-02
申请号:CN202410230004.2
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种模型聚合方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于对边缘计算设备中待聚合的模型参数进行筛选,解决了不重要的模型参数传输影响模型训练效率以及模型精度的问题。分别确定本地网络模型的各个模型参数对于本地网络模型性能的第一影响程度以及各个骨干网络层对于本地网络模型性能的第二影响程度,结合第一、第二影响程度对模型参数进行筛选,可剔除对本地网络模型性能影响较小的模型参数,不但降低了数据传输成本,提升了数据传输效率,而且避免了重要程度较低的模型参数对模型精度的影响,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果。
-
-
-
-
-
-
-
-
-