数据异构条件下的图像处理方法及装置

    公开(公告)号:CN117808128B

    公开(公告)日:2024-05-28

    申请号:CN202410230128.0

    申请日:2024-02-29

    Abstract: 本发明公开了一种数据异构条件下的图像处理方法、联邦学习方法及装置,涉及图像处理技术领域,边缘云服务器根据数据分布相似性对边缘计算设备分簇,簇内边缘计算设备具有相似的数据分布,可以让模型更好的捕捉到数据的特征。边缘计算设备采用残差分级训练的方式进行模型训练,实现细粒度模型训练,缓解数据分布差异大的问题。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合,得到准确可靠的图像处理模型,最终边缘计算设备使用该准确可靠的图像处理模型进行图像处理,可以提升图像处理的准确性与可靠性。

    视觉定位方法、装置、设备及介质

    公开(公告)号:CN117876651B

    公开(公告)日:2024-05-24

    申请号:CN202410281924.7

    申请日:2024-03-13

    Abstract: 本发明涉及人工智能技术领域,公开了一种视觉定位方法、装置、设备及介质,包括:从输入图像中提取元素属性特征并输入到关联提取网络,得到元素关系特征和元素索引库;将元素关系特征和元素属性特征进行拼接,得到元素第一综合特征;从输入文本中获取文本编码特征并与元素第一综合特征进行跨模态编码,提取元素第二综合特征;对元素第二综合特征与元素索引库进行溯源编码,得到视觉溯源特征;将视觉溯源特征和文本编码特征拼接成多模态溯源特征,经定位解码器处理后输出从输入图像中定位的导致输入文本事件发生的对应元素位置。这样能够根据视觉要素和关系进行视觉因果溯源的综合推理,从而推理出人类需求在视觉上的体现,得到准确的定位结果。

    异构算力的耗时预测仿真方法、装置、设备、介质及系统

    公开(公告)号:CN117827619B

    公开(公告)日:2024-05-24

    申请号:CN202410230017.X

    申请日:2024-02-29

    Abstract: 本发明公开了计算机技术领域内的一种异构算力的耗时预测仿真方法、装置、设备、介质及系统。本发明能够构建包括通信图节点和计算图节点的有向图,从而根据多个异构算力设备的网络拓扑信息仿真得到的仿真网络预测多个通信图节点的通信耗时,根据有向图预测多个计算图节点的计算耗时,累计通信耗时和计算耗时得到模型训练任务的训练耗时。由于无需部署实际的算力设备,因此没有部署难度,实现成本低,可根据预测的训练耗时优化算力设备的部署策略,预测准确度更高,适用于多元异构计算系统。

    一种视觉语言理解方法、装置、设备及可读存储介质

    公开(公告)号:CN117746441B

    公开(公告)日:2024-05-10

    申请号:CN202410186665.X

    申请日:2024-02-20

    Abstract: 本发明涉及计算机视觉领域,具体公开了一种视觉语言理解方法、装置、设备及可读存储介质,通过在训练视觉理解模型时根据样本数据集通过视觉模态和文本模态之间的互信息构建视觉文本跨模态共识信息,以进行基于视觉文本跨模态共识信息的视觉文本跨模态编码,以视觉文本跨模态共识信息为桥梁将视觉语言中蕴含的知识学习到模型中,使模型更好地理解图像或视频的内容和上下文信息,引导模型聚焦图像或视频与其对应的语言信息中的重要部分,解决了传统视觉语言模型或视频语言模型均存在的由视觉模态和文本模态语义不对齐导致的学习损失较大的问题,提升了计算机视觉的视频语言理解能力,进而精确响应视觉语言相关问题。

    一种视觉情感识别方法、装置、设备及可读存储介质

    公开(公告)号:CN117911929A

    公开(公告)日:2024-04-19

    申请号:CN202410186654.1

    申请日:2024-02-20

    Abstract: 本发明涉及计算机视觉领域,具体公开了一种视觉情感识别方法、装置、设备及可读存储介质,通过视觉模态和文本模态之间的互信息构建视觉文本跨模态共识信息,将视觉文本跨模态编码配置为基于视觉文本跨模态共识信息进行编码,相较于对齐编码增强了视觉文本跨模态编码表达能力,在初始视觉模型中配置文本情感评价编码、视觉文本跨模态编码以及融合编码的多头注意力机制,利用样本数据集、任务目标和各注意力头的损失值训练模型中各注意力头的权重,使视觉情感识别模型更准确地理解跨模态情感共识,进而调用视觉情感识别模型执行待处理视觉情感识别任务,实现更为准确的视觉情感识别。

    运动轨迹预测方法、模型训练方法、装置、设备及介质

    公开(公告)号:CN117874529A

    公开(公告)日:2024-04-12

    申请号:CN202410275992.2

    申请日:2024-03-12

    Abstract: 本申请公开了模型训练技术领域内的一种运动轨迹预测方法、模型训练方法、装置、设备及介质。本申请使模型输入数据由目标运动轨迹的下一时刻的预测位置信息、目标运动轨迹的下一时刻的拟合位置信息、由目标运动轨迹的邻近运动轨迹计算得到的位移模仿信息、预测位置信息和位移模仿信息之间的相似程度以及基于邻近运动轨迹确定的预测位置信息的移动约束构成,那么第二轨迹预测模型可综合考虑目标运动轨迹与其所在空间内其他轨迹之间的关系,并且结合了同一目标运动轨迹的两种预测结果,能够提高轨迹预测的准确率。

    异构算力的耗时预测仿真方法、装置、设备、介质及系统

    公开(公告)号:CN117827619A

    公开(公告)日:2024-04-05

    申请号:CN202410230017.X

    申请日:2024-02-29

    Abstract: 本发明公开了计算机技术领域内的一种异构算力的耗时预测仿真方法、装置、设备、介质及系统。本发明能够构建包括通信图节点和计算图节点的有向图,从而根据多个异构算力设备的网络拓扑信息仿真得到的仿真网络预测多个通信图节点的通信耗时,根据有向图预测多个计算图节点的计算耗时,累计通信耗时和计算耗时得到模型训练任务的训练耗时。由于无需部署实际的算力设备,因此没有部署难度,实现成本低,可根据预测的训练耗时优化算力设备的部署策略,预测准确度更高,适用于多元异构计算系统。

Patent Agency Ranking