模型结构的延时预测方法、装置以及电子设备

    公开(公告)号:CN110555486A

    公开(公告)日:2019-12-10

    申请号:CN201910860570.0

    申请日:2019-09-11

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了一种模型结构的延时预测方法、装置以及电子设备,涉及神经网络搜索领域。具体实现方案为:根据硬件延时查找表训练得到分类模型以及多个回归模型;将模型结构中的操作输入至分类模型中,得到操作对应的延时类别标签;将具有延时类别标签的操作输入至延时类别对应的回归模型中,得到预测延时。由于分类模型和多个回归模型可以通过硬件延时查找表中的操作进行训练,利用训练好的分类模型和回归模型预测任意操作的延时。通过有限的采样预测任意操作延时,非常高效的评估任意模型结构的延时,无需直接连接硬件设备来评估模型结构的延时,解决了建立传统硬件查找表耗时导致延时测试效率较低的技术问题。

    神经网络结构搜索方法、装置、电子设备和介质

    公开(公告)号:CN110543944A

    公开(公告)日:2019-12-06

    申请号:CN201910859899.5

    申请日:2019-09-11

    Inventor: 温圣召 希滕 张刚

    Abstract: 本申请实施例公开了一种神经网络结构搜索方法、装置、电子设备和介质,涉及神经网络技术领域。具体实现方案为:控制器依据预设通信协议,将搜索得到的候选网络结构信息向训练器发送;训练器依据候选网络结构信息以及样本数据训练神经网络模型,并依据预设通信协议,将基于神经网络模型生成的指标信息向控制器反馈;控制器依据指标信息进行重新搜索,若搜索得到的候选网络结构信息收敛,则将结构信息收敛的候选网络结构确定为最终搜索得到的目标神经网络结构。基于预设的通信机制,实现了控制器与训练器之间基于预设通信协议进行信息交互,克服了控制器与训练器必须基于同一开发框架导致的强耦合性的技术问题,实现将控制器与训练器之间解耦。

    图像识别方法及装置、神经网络模型的训练方法及装置

    公开(公告)号:CN112784912B

    公开(公告)日:2024-11-26

    申请号:CN202110127552.9

    申请日:2021-01-29

    Inventor: 希滕 张刚 温圣召

    Abstract: 本公开提供了一种图像识别方法及装置、神经网络模型的训练方法及装置,涉及人工智能领域,具体为计算机视觉和深度学习领域。实现方案为:将待识别图像输入神经网络模型;以及至少基于多个网络模块中靠近神经网络模型的输入侧的部分网络模块执行对待识别图像的识别,其中,针对至少一个超网络模块中任一超网络模块及其所对应的预测器,在该超网络模块接收到上一个网络模块所输出的特征图的情况下,将特征图输入与该超网络模块所对应的预测器,以获取该预测器所输出的预测值,基于预测值,确定该超网络模块的至少两个子网络中的一个子网络为选中子网络,以及在该超网络模块中,利用选中子网络执行对待识别图像的识别。

    物体检测及多模态大模型训练方法和装置

    公开(公告)号:CN119006885A

    公开(公告)日:2024-11-22

    申请号:CN202410961459.1

    申请日:2024-07-17

    Abstract: 本公开提供了物体检测及多模态大模型训练方法和装置,涉及计算机视觉、深度学习以及大模型等人工智能领域。其中的物体检测方法可包括:获取待处理的目标图像以及目标图像对应的第一问题;将目标图像以及第一问题作为多模态大模型的输入,得到多模态大模型的输出结果;所述输出结果包括:由第一回答以及第二回答组成的第一输出结果,第一回答包括:用于说明目标图像包括第一目标物体的第一文本信息以及针对目标图像的物体检测结果信息,第一目标物体为第一问题中涉及的物体,第二回答包括:根据物体检测结果信息确定出的第一目标物体在目标图像中的坐标信息。

    多模态模型训练方法、图像处理方法、装置及电子设备

    公开(公告)号:CN118940859A

    公开(公告)日:2024-11-12

    申请号:CN202411046168.6

    申请日:2024-07-31

    Abstract: 本公开提供了一种多模态模型训练方法、图像处理方法、装置及电子设备,涉及人工智能技术领域,尤其涉及计算机视觉、深度学习、大语言模型等技术领域。具体实现方案为:获取多模态模型;其中,多模态模型包括依次连接的图像编码器、桥接组件和大语言模型;执行针对多模态模型的训练操作,得到经过训练的多模态模型;其中,训练操作包括:在多模态模型中的大语言模型的权重参数被固定的情况下,利用第一图文样本集合,对多模态模型中的图像编码器和桥接组件进行训练,得到经过初步训练的多模态模型;利用第二图文样本集合,对经过初步训练的多模态模型进行整体训练,得到经过训练的多模态模型。

    预训练模型的生成方法、装置、电子设备和存储介质

    公开(公告)号:CN113657465B

    公开(公告)日:2024-04-09

    申请号:CN202110865000.8

    申请日:2021-07-29

    Inventor: 希滕 张刚

    Abstract: 本公开提出了一种预训练模型的生成方法、装置、电子设备和存储介质,涉及人工智能技术领域,尤其涉及计算机视觉和深度学习技术领域,可应用于图像处理、图像识别等场景。方法为:采用模型集合内选取的多个候选模型,对测试集内的样本进行特征提取,并对各候选模型输出的特征进行特征融合,得到融合特征,根据融合特征执行设定的目标识别任务,以得到预测信息,根据预测信息与样本的标准信息之间的差异,确定多个候选模型的组合性能,在组合性能满足设定性能指标的情况下,根据多个候选模型生成预训练模型,本公开中根据候选模型的组合在目标识别任务上的综合性能表现,确定多个候选模型的组合是否为较优的模型组合,提高了预训练模型的精度。

    预训练模型的生成方法、装置、电子设备以及存储介质

    公开(公告)号:CN114037057B

    公开(公告)日:2024-03-15

    申请号:CN202111310390.9

    申请日:2021-11-05

    Inventor: 希滕 张刚

    Abstract: 本公开提供了一种预训练模型的生成方法、装置、电子设备以及存储介质,涉及人工智能技术领域,尤其涉及计算机视觉和深度学习技术。具体实现方案为:确定与候选模型结构集合对应的性能指标集合,其中,候选模型结构集合是从搜索空间包括的多个模型结构中确定的,搜索空间是基于超网络的搜索空间;根据性能指标集合,分别从候选模型结构集合中确定与多个芯片中的每个芯片对应的目标模型结构,其中,每个目标模型结构是满足性能指标条件的模型结构;针对多个芯片中的每个芯片,将与芯片对应的目标模型结构确定为与芯片对应的预训练模型,其中,芯片用于运行与芯片对应的预训练模型。

    超网络参数更新方法、装置和电子设备

    公开(公告)号:CN111523665B

    公开(公告)日:2024-02-13

    申请号:CN202010327396.6

    申请日:2020-04-23

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了超网络参数更新方法、装置和电子设备,涉及人工智能领域。具体实现方案为:从超网络中获取多个子网络;从所述多个子网络中获取第一子网络;确定所述第一子网络分别与所述多个子网络中各第二子网络的共存值,获得多个共存值,所述共存值用于表示所述第一子网络与所述第二子网络的共存性;基于所述多个共存值,对所述超网络的参数进行更新。在对超网络的参数进行更新时,综合考虑了第一子网络和各第二子网络之间的共存性,这样,可使得更新后的超网络可兼顾各个子网络的性能,使得子网络基于超网络的训练获得的性能与子网络单独训练的性能一致,使得超网络的各子网络的性能均能达到较优。

    预训练模型的确定方法、装置、电子设备以及存储介质

    公开(公告)号:CN113705628B

    公开(公告)日:2024-02-06

    申请号:CN202110903956.2

    申请日:2021-08-06

    Inventor: 希滕 曹璨 张刚

    Abstract: 本公开提供了预训练模型的确定方法、装置、电子设备以及存储介质,涉及计算机视觉和深度学习技术领域,可应用于图像处理、图像识别等场景。具体实现方案为:获取多种候选模型;根据多种候选模型的模型结构进行结构编码,以得到各候选模型的结构编码;采用经过训练的编码器将各候选模型的结构编码映射得到对应的频域编码;根据各候选模型的频域编码,预测各候选模型的模型性能参数;根据各候选模型的模型性能参数,从多种候选模型中确定目标模型作为预训练模型。由此,通过根据多种候选模型的频域编码,从多种候选模型中确定目标模型作为预训练模型,能够减少后续对预训练模型进行训练的训练成本,提高训练效率。

    图像生成及模型训练方法、装置、设备和存储介质

    公开(公告)号:CN117351299A

    公开(公告)日:2024-01-05

    申请号:CN202311184380.4

    申请日:2023-09-13

    Abstract: 本公开提供了一种图像生成及模型训练方法、装置、设备和存储介质,涉及人工智能技术领域,具体为计算机视觉、深度学习、大模型等技术领域,可应用于图像处理等场景。图像生成模型的训练方法包括:获取教师模型的第一生成结果;获取学生模型的第二生成结果;所述学生模型为待训练的图像生成模型;基于第一生成结果和第二生成结果,构建损失函数;基于所述损失函数更新所述第一参数矩阵和所述第二参数矩阵,并根据更新后的第一参数矩阵和更新后的第二参数矩阵获得更新后的目标参数矩阵;所述第一参数矩阵的秩和所述第二参数矩阵的秩均小于所述目标参数矩阵的秩。本公开可以降低计算资源开销。

Patent Agency Ranking