-
公开(公告)号:CN113918351B
公开(公告)日:2022-03-11
申请号:CN202111487478.8
申请日:2021-12-08
Applicant: 之江实验室
IPC: G06F9/50 , G06F16/901 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种深度学习框架与AI加速卡片内分布式训练适配方法和装置,包括如下步骤:S1:深度学习框架支持新增AI加速卡片内单卡配置,其子步骤如下:S11:深度学习框架支持新硬件;S12:深度学习框架支持新硬件的设备线程;S13:深度学习框架支持新硬件的内存操作;S14:深度学习框架支持新硬件的算子核函数;S2:深度学习框架支持新增AI加速卡片内多卡配置;S3:深度学习框架支持张量切分和多卡分布;S4:深度学习框架支持新增AI加速卡片内多卡集合通信,本发明打通了深度学习框架与新增AI加速卡,并将深度学习框架源码与芯片底层软件全面对接,最大限度释放芯片的硬件能力,为端侧AI提供最强劲的算力。
-
公开(公告)号:CN113673241A
公开(公告)日:2021-11-19
申请号:CN202110885791.0
申请日:2021-08-03
IPC: G06F40/289 , G06F40/211 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于范例学习的文本摘要生成框架及方法,允许在摘要生成的过程中参考一些写作范例,框架包括检索和生成两个阶段,检索阶段,给定一个文本,使用对比学习去数据库中检索一些范例,假定越好的摘要在语义空间应该和原文离得更近,检索器的模型使用了孪生网络的结构;生成阶段,提出了一种结合范例进行摘要生成的方法,可以方便的加在目前所有主流的条件生成模型上,为了更好的学习范例,将待生成的摘要和范例摘要按照句子对齐;通过训练好的模型进行预测,即解码阶段,使用集束搜索算法并鼓励那些和范例更相似的束。
-
公开(公告)号:CN113419727A
公开(公告)日:2021-09-21
申请号:CN202110691724.5
申请日:2021-06-22
Applicant: 之江实验室
IPC: G06F8/38 , G06F16/904
Abstract: 本发明涉及深度学习技术领域,具体涉及一种深度学习训练过程数据转化为可视化数据方法和系统,该方法包括:步骤一,定义可视化数据类型:基于Protobuf以自定义或编写的文件名为xxx的Proto文件,生成包含同一文件名的xxx_pb2.py代码;步骤二,数据转化:Python端通过调用summary_xxx.py将相应的训练过程数据转化为可视化数据,并组装成Protobuf类型的message对象或者Json字符串,C++端通过调用event_writer_helper组件或者summary_converter.h将获取的训练过程数据根据不同的需求进行处理后转化为可视化数据,并组装成Protobuf类型的message对象;步骤三,数据生成:将Python端或C++端生成的可视化数据写入日志文件。本发明极大地方便了模型训练过程中对于训练中间结果的数据分析和异常处理,提高了模型训练的效率。
-
公开(公告)号:CN114022703B
公开(公告)日:2025-04-04
申请号:CN202111248733.3
申请日:2021-10-26
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于深度学习的高效车辆细粒度识别方法,它通过构建高效残差结构提取车辆图像特征,然后通过空间通道损失函数提高特征提取网络的细粒度分类能力,使网络更加专注于车辆图像的不同组件区域,保证特征通道的可区分性和可辨别性,并且不增加卷积神经网络推理的计算量。本发明通过深度学习自动提取特征,避免手工设计特征区域的局限性,更能克服车辆图片复杂环境噪音的干扰,并且能通过空间特征损失函数使特征通过关注更丰富的特征区域,提高车辆细粒度识别的准确率。
-
公开(公告)号:CN117911712A
公开(公告)日:2024-04-19
申请号:CN202410056442.1
申请日:2024-01-15
Applicant: 之江实验室
IPC: G06V10/44 , G06V20/64 , G06V10/80 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种特征提取方法、装置、存储介质及电子设备。通过特征提取模型中的卷积神经网络可获取大尺寸的时空数据的初次提取的特征,即第一特征图。将第一特征图作为待提取特征图,对待提取特征图进行区域的划分,并使用区域特征提取模型对不同区域独立地进行特征提取,得到局部特征,即区域特征。将所有区域特征进行融合,得到第二特征图。将第二特征图作为新的待提取特征图,并重复以上区域特征提取与融合过程,直至达到预设次数。通过对融合后的特征图重新划分区域并重新提取特征,可使得相邻区域的特征信息能够在不同时空位置间传播,从而提取时空数据的全局特征及隐蔽的局部特征,以提高天文目标识别的准确性。
-
公开(公告)号:CN117093871B
公开(公告)日:2024-02-13
申请号:CN202311335992.9
申请日:2023-10-16
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/20 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种面向深度学习分布式训练测评方法和系统,其中,面向深度学习分布式训练测评方法包括:对各所述分布式神经网络模型分别进行训练,获得对应的第一性能指标;并基于各所述第一性能指标,调整各所述分布式神经网络模型的所述分布式优化算法、所述分布式策略并行度以及所述训练参数,以进行优化训练,得到对应的第二性能指标;基于各所述第二性能指标,确定最优分布式神经网络模型。本发明使用指标量化评估各分布式神经网络模型计算的性能,并基于评估指标进一步进行优化训练,提高了各分布式神经网络模型计算的性能,通过优化后的指标,获得最优分布式神经网络模型,帮助技术人员高效部署分布式神经网络模型。(56)对比文件Wang Fangyu 等.Research on imblanceddata set preprocessing based on deeplearning《.2021 Asia-Pacific Conference onCommunications Technology and ComputerScience(ACCTCS)》.2021,第75-79页.
-
公开(公告)号:CN117093352B
公开(公告)日:2024-01-09
申请号:CN202311328291.2
申请日:2023-10-13
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于模板的计算集群作业调度系统及方法、装置,通过在不同的计算集群中部署不完全相同的计算框架,当监测到用户的选择操作后,确定用户执行作业时需调用的目标框架,并向用户展示该目标框架对应的作业调用模板,再根据用户对该作业调用模板的输入操作,确定用户的输入数据,再将该输入数据和该目标作业调用模板进行组合,生成目标作业,最后将该目标作业下发至部署有该目标框架的目标集群中。从上述内容可以看出,本方法仅需要用户确定自身需执行的计算作业的作业类型,而不需要用户根据执行该计算作业的计算框架和对应计算集群的特点编写作业启动程序,提高了作业生成的效率和作业处理的效率。
-
公开(公告)号:CN117032739B
公开(公告)日:2024-01-09
申请号:CN202311285993.7
申请日:2023-10-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种镜像生成的方法、系统、存储介质及电子设备,包括:确定用户选择的生成目标镜像文件所需的基础镜像的环境信息,并展示给用户。再确定基于基础镜像生成目标镜像文件时所需的其他资源的资源信息,并根据资源信息,从资源库中确定生成目标镜像文件时所需的材料文件。根据环境信息和资源信息,采用指定规则,生成目标镜像文件对应的指令文件。根据材料文件及基础镜像,按照指令文件中的指令,自动完成目标镜像的构建。所述系统和方法使得用户无需掌握复杂的镜像构建语法,降低目标镜像构建的技术门槛,并能快速生成符合要求的目标镜像,提高了镜像构建的效率。
-
公开(公告)号:CN117093352A
公开(公告)日:2023-11-21
申请号:CN202311328291.2
申请日:2023-10-13
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于模板的计算集群作业调度系统及方法、装置,通过在不同的计算集群中部署不完全相同的计算框架,当监测到用户的选择操作后,确定用户执行作业时需调用的目标框架,并向用户展示该目标框架对应的作业调用模板,再根据用户对该作业调用模板的输入操作,确定用户的输入数据,再将该输入数据和该目标作业调用模板进行组合,生成目标作业,最后将该目标作业下发至部署有该目标框架的目标集群中。从上述内容可以看出,本方法仅需要用户确定自身需执行的计算作业的作业类型,而不需要用户根据执行该计算作业的计算框架和对应计算集群的特点编写作业启动程序,提高了作业生成的效率和作业处理的效率。
-
公开(公告)号:CN116501474B
公开(公告)日:2023-09-22
申请号:CN202310676088.8
申请日:2023-06-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种批量同质任务的处理系统、方法以及装置,调度节点生成批量同质任务,并根据各计算集群分别对应的负载,将该批量同质任务下发至各计算集群,由各计算集群执行该批量同质任务。在批量同质任务的任务量过大时,可调用多个计算集群来协同处理同一批量同质任务,减少了批量同质任务的处理时间,保证了处理效率。
-
-
-
-
-
-
-
-
-