-
公开(公告)号:CN116501474A
公开(公告)日:2023-07-28
申请号:CN202310676088.8
申请日:2023-06-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种批量同质任务的处理系统、方法以及装置,调度节点生成批量同质任务,并根据各计算集群分别对应的负载,将该批量同质任务下发至各计算集群,由各计算集群执行该批量同质任务。在批量同质任务的任务量过大时,可调用多个计算集群来协同处理同一批量同质任务,减少了批量同质任务的处理时间,保证了处理效率。
-
公开(公告)号:CN116150380B
公开(公告)日:2023-06-27
申请号:CN202310413634.9
申请日:2023-04-18
Applicant: 之江实验室
IPC: G06F16/35 , G06F18/22 , G06N3/0455 , G06N3/0895
Abstract: 本说明书公开了一种文本匹配方法、装置、存储介质及设备,根据匹配的文本对中各原始文本的表征向量的第一相似度、该文本对中各原始文本与各自变形文本的表征向量间的第二相似度及各原始文本与其他原始文本的表征向量的第三相似度,确定该文本对的损失。该第一相似度与第二相似度皆与该文本对的损失负相关,第三相似度与该文本对的损失正相关。在根据各文本对的损失确定总损失,并以总损失最小为目标训练得到训练后的表征模型后,则可响应于匹配请求,通过训练后的表征模型确定待匹配文本对的表征向量,以根据得到的表征向量确定待匹配文本对的匹配结果。可训练得到可输出准确表征向量的表征模型,提升基于表征模型进行文本匹配的匹配准确度。
-
公开(公告)号:CN114647732B
公开(公告)日:2022-09-06
申请号:CN202210559452.8
申请日:2022-05-23
Applicant: 之江实验室
IPC: G06F16/35
Abstract: 本发明公开了一种面向弱监督文本分类系统、方法和装置,包括以下模块:获取模块:从数据库中获取用户上传的待标注文本数据和提供的类别标签集合;文本分类模块:根据获取模块中用户上传的待标注文本数据,确定预训练自然语言模型,使用确定模型对待标注文本数据进行分类输出标注结果;文本标注模块:根据文本分类模块输出的标注结果,生成与待标注文本数据相对应的标注结果,从而完成对所述待标注文本数据的标注,本发明提供了一种面向弱监督文本分类系统,为解决文本分类问题提供一种新的解决思路,即用户只需提供待标注文本数据和类别标签集合,便可实现高准确率的标注结果,极大地减少了文本数据标注成本。
-
公开(公告)号:CN114218929B
公开(公告)日:2022-05-17
申请号:CN202210159700.X
申请日:2022-02-22
Applicant: 之江实验室
IPC: G06F40/253 , G06F40/284 , G06K9/62
Abstract: 一种基于元算子融合的多平台算子智能化开发系统及方法,包括:初始化器、元算子库预处理器、算子模板生成器、融合规则迭代器、算子融合器、调度策略优化器;初始化器:用于获取系统中内置的融合规则库和对应的元算子接口声明,然后将元算子接口声明转发到元算子库预处理器,将融合规则库转发到融合规则迭代器;由于算子融合器能够根据融合规则和对应的目标平台元算子,来生成目标平台的算子代码,和融合规则平台无关且易于描述,元算子的逻辑比较简单而且可以复用于多个算子。因此,本发明降低了算子开发的工程量和开发难度,且用户需要开发的算子越多,需要适配的平台越多,本发明的效果越明显。
-
公开(公告)号:CN113918507B
公开(公告)日:2022-04-08
申请号:CN202111497148.7
申请日:2021-12-09
Applicant: 之江实验室
Abstract: 本发明的一种深度学习框架适配AI加速芯片的方法和装置,具体分为三个阶段:芯片类型定义、芯片类型注册、芯片内存支持,所述芯片类型定义就是把需要支持的芯片的类型以一个枚举值的形式定义到proto文件中去,从而使得框架内部可以正确识别该芯片类型;芯片类型注册是把该芯片所需的基础设施注册到哈希表中去,便于框架在需要的时候可以根据芯片类型方便地找到相应的内容;芯片内存支持是把该芯片内存相关的操作放到框架中去,使得框架可以对芯片的存储空间进行统一管理。本发明简化了深度学习框架适配AI加速芯片的工作。
-
公开(公告)号:CN113824802B
公开(公告)日:2022-04-01
申请号:CN202111398769.X
申请日:2021-11-24
Applicant: 之江实验室
Abstract: 本发明公开了一种去中心化分布式训练拓扑结构,包括:所述拓扑结构为n维超方形拓扑结构,是封闭的、紧致的、凸的无向图,所述拓扑结构由有限非空节点集合和有限边集合组成,所述拓扑结构的1维骨架是由一群在其所在空间对准每个维度整齐排列的等长的线段组成的,其中相对的线段互相平行,而相交于一点的线段则互相正交,本发明聚焦于去中心化分布式性能训练,将训练任务“均匀化”,将训练任务负荷均匀地分配到分布式训练系统中各个训练节点上,系统性能不再取决于单一训练节点性能,具有迭代耗时短,数据本地化,通信有效性高的优点。
-
公开(公告)号:CN113836386B
公开(公告)日:2022-03-25
申请号:CN202111410689.1
申请日:2021-11-25
Applicant: 之江实验室
IPC: G06F16/953 , G06F21/64 , H04L9/32
Abstract: 本发明提供了一种并行模式搜索空间构造系统和方法,该方法为:初始化输入逻辑张量;计算并输出逻辑张量真值;构造所有候选并行模式,确定输入和输出张量并行模式迭代内容;结合输入张量并行模式迭代内容,切分输入逻辑张量为物理张量;判断物理张量计算合法性,若合法,计算物理张量结果并输出;若非法,继续输入张量并行模式迭代过程;结合输出张量并行模式迭代内容,合并物理张量运算结果为逻辑张量;对比逻辑张量真值和逻辑张量,若相等,将该并行模式添加到合法并行模式搜索空间中,并直接继续输入张量并行模式迭代过程;若不相等,继续输出张量并行模式迭代过程,直到迭代完成后,重复所述以上步骤,直到所述输入张量并行模式迭代过程完成。
-
公开(公告)号:CN114119426A
公开(公告)日:2022-03-01
申请号:CN202210090686.2
申请日:2022-01-26
IPC: G06T5/00
Abstract: 本发明公开了非局部低秩转换域与全连接张量分解图像重构方法及装置,包括:S1,输入待修复图像;S2,构建张量分解模型,包括:S2.1,分割输入图像,得到非局部张量块;S2.2,将非局部张量块引入B样条转换域,得到非局部张量块的转换域形式;S2.3,通过非局部张量块,构造非局部相似张量块组;S2.4,联合全连接张量分解,构造全连接张量分解因子;S2.5,构建低秩张量补全模型,并根据S2.1‑2.4进行优化,得到基于非局部低秩转换域与全连接张量分解模型;S3,构建图像修复模型,获取待修复图像,通过张量分解模型得到的修复图像张量块组,得到修复后的图像。使得在光谱图像修复中,整图像重构更加精准。
-
公开(公告)号:CN113835695B
公开(公告)日:2022-02-18
申请号:CN202111408005.4
申请日:2021-11-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于统一后端引擎的深度学习框架与硬件设备适配方法,包括如下步骤:S1:深度学习框架添加统一后端引擎;S2:硬件设备添加统一后端引擎;S3:转换计算图,将深度学习框架编译生成的计算图转换为统一后端引擎的中间表示;S4:编译中间表示,统一后端引擎在硬件设备上编译中间表示生成可执行对象;S5:运行可执行对象,深度学习框架在硬件设备上运行可执行对象;S6:统一后端引擎的内存管理。本发明打通了深度学习框架与硬件设备,将深度学习框架源码与芯片底层软件全面对接,尽可能最大限度地释放芯片的硬件能力,为端侧AI提供强劲算力。
-
公开(公告)号:CN113835695A
公开(公告)日:2021-12-24
申请号:CN202111408005.4
申请日:2021-11-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于统一后端引擎的深度学习框架与硬件设备适配方法,包括如下步骤:S1:深度学习框架添加统一后端引擎;S2:硬件设备添加统一后端引擎;S3:转换计算图,将深度学习框架编译生成的计算图转换为统一后端引擎的中间表示;S4:编译中间表示,统一后端引擎在硬件设备上编译中间表示生成可执行对象;S5:运行可执行对象,深度学习框架在硬件设备上运行可执行对象;S6:统一后端引擎的内存管理。本发明打通了深度学习框架与硬件设备,将深度学习框架源码与芯片底层软件全面对接,尽可能最大限度地释放芯片的硬件能力,为端侧AI提供强劲算力。
-
-
-
-
-
-
-
-
-