一种模型推理时的模型自适应更新方法及装置

    公开(公告)号:CN119360125A

    公开(公告)日:2025-01-24

    申请号:CN202411768569.2

    申请日:2024-12-04

    Abstract: 本发明提出一种模型推理时的模型自适应更新方法和装置,包括:数据库存储图像分类模型推理时得到的数据样本,数据样本包括:数据特征及其对应的类别概率;通过将当前数据样本的数据特征和其余数据样本的数据特征间的余弦距离检索得到当前数据样本的邻居,通过对所有邻居的各类别概率进行平均,得到各类别的平均概率,取平均概率最高的类别作为当前数据样本的伪标签;根据数据样本及其对应的伪标签,构建损失函数,以对图像分类模型进行更新训练,使用更新训练后的图像分类模型对待分类图像进行图像分类,得到待分类图像的图像分类结果。与现有模型推理时自适应技术相比,模型调整更精准有效,极大提高了模型在不同场景的推理准确率。

    一种支持多种硬件的深度学习模型编译方法及编译器

    公开(公告)号:CN119045823A

    公开(公告)日:2024-11-29

    申请号:CN202410642450.4

    申请日:2024-05-23

    Abstract: 本发明提供了一种支持多硬件的深度学习模型编译方法和编译器,包括:获取需要编译的深度学习模型的计算图与目标设备信息;将目标设备信息基于预设的硬件模型转换为硬件属性中间形式,基于深度学习模型的基本操作获取线性操作中间形式,基于深度学习模型的张量,获取张量形状中间形式;基于张量与张量形状中间形式,获取内存中间形式,并采用异构内存传输折叠方法优化内存拷贝行为;基于获取的线性操作中间形式获取循环中间形式,采用融合、堆叠、向量化的方法,优化循环中间形式中的循环,并转化为向量中间形式,基于预设的计算模型获取异构设备数据操作规则中间形式;基于前面获取的多个中间形式,获取可在目标设备进行推理的可执行代码。

    一种用于电网分析应用的增量图计算方法及计算系统

    公开(公告)号:CN118819829A

    公开(公告)日:2024-10-22

    申请号:CN202410805665.3

    申请日:2024-06-21

    Abstract: 本发明提供了一种增量图数据计算方法,包括:图层构建步骤:基于原始图数据构建从上之下包括原始图层、中间子图层、顶层图层。计算步骤:响应图数据的变化,通过调整三层结构图的内部结构以实现不断变化的图数据的增量计算,每次计算进行多轮迭代直至图结构收敛,其中,在计算过程中,用外存储器存储图计算的所有中间结果,用内存储器动态存储图计算的部分中间结果,并且在外存储器和内存储器中均以中间子图结构为存储单位进行中间结果的读取或存储,顶层图层的所有中间结果作为一个整体进行存储,其中,为响应增量计算数据访问,采用启发式缓存替换策略更新内存储器中的中间结果。本发明相对现有图计算方法的内存占用平均降幅可达40%‑60%。

    基于子图范围采样的图神经网络训练方法及系统

    公开(公告)号:CN117556891A

    公开(公告)日:2024-02-13

    申请号:CN202311431224.3

    申请日:2023-10-31

    Abstract: 本发明提出一种基于子图范围采样的图神经网络训练方法,包括:初始化步骤,构建子图范围采样模型,初始化该子图范围采样模型的超参数;预处理步骤,通过该子图范围采样模型将全图划分为多个分区,选取该分区构建采样子图模拟图神经网络训练时的批数据,以评估该子图范围采样模型的采样偏差,基于该采样偏差,调整该超参数;训练步骤,以该子图范围采样模型或邻居采样模型从该全图中选取训练子图构建为批数据,对图神经网络进行训练。本发明还提出一种基于子图范围采样的图神经网络训练系统,以及一种用于实现基于子图范围采样的图神经网络训练的数据处理装置。

    一种基于动态代码生成的图计算方法及系统

    公开(公告)号:CN110287378B

    公开(公告)日:2021-10-19

    申请号:CN201910441015.4

    申请日:2019-05-24

    Abstract: 本发明提出一种基于动态代码生成的图计算方法及系统,包括:根据建图请求,构造包含图操作原语的中间图结构,并将中间图结构与图名关联后存入中间图缓存器;根据图算法请求,生成由外部代码字节码构成的图算法结构,发送至图算法缓存器;以执行请求检索中间图缓存器和图算法缓存器,得到待执行中间图结构、待执行图算法结构与参数列表组成的三元组,并在本地代码缓存器中检索三元组,得到本地代码缓存器中的执行对象,以执行得到结果。本发明在本地代码空间中注入生成代码,消除了数据交换的开销;构建了可二次编译的中间图结构,使图数据的访问代码可进行编译优化;同时增加了中间图结构缓存与图算法缓存,规避了图计算的预处理开销。

    一种用于倾斜数据的流式计算引擎运行方法及系统

    公开(公告)号:CN110990059A

    公开(公告)日:2020-04-10

    申请号:CN201911191154.2

    申请日:2019-11-28

    Abstract: 本发明提出一种用于倾斜数据的流式计算引擎运行方法及系统,包括:获取包含倾斜数据的用户作业,并将该用户作业转换为表示该用户作业的有向无环图,根据该有向无环图中算子的业务处理逻辑,将该有向无环图中节点划分为有状态算子和无状态算子;将全部状态算子包装为有状态任务后输入有状态数据流,将全部无状态算子包装为无状态任务后输入无状态数据流;将该无状态数据流中无状态任务复制发送至任意计算节点,得到无状态处理结果;将该有状态数据流中有状态任务转换为包含键和值的数据记录,将包含相同键的数据记录分配至相同计算节点,得到有状态处理结果,集合该无状态处理结果和有状态处理结果作为该用户作业的运行结果。

    基于压缩图的数据存储方法、存储介质、存储装置和服务器

    公开(公告)号:CN110389953A

    公开(公告)日:2019-10-29

    申请号:CN201910508926.4

    申请日:2019-06-12

    Abstract: 本发明涉及一种基于压缩图的数据存储方法、系统和存储介质,该方法包括:步骤100,生成点表逻辑定义,根据该逻辑定义构建点表,并向该点集中插入数据;步骤200,生成边表逻辑定义,根据该逻辑定义构建边表,从所述点表中选择与该边表相关联的点表,并向所述边表中插入数据;步骤300,设置和执行压缩图定义命令,生成所述压缩图的建图逻辑,设置函数获取与所述压缩图定义关联的所述边表,形成边集聚合组,并生成与所述压缩图定义关联的所述点表的代理结构;步骤400,设置和执行压缩图重置命令,根据所述压缩图的建图逻辑构建所述压缩图。本方法降低了多次建图与建多类图的开销,增加了图构建的灵活性与表示性,减少了重复建图的排序工作量。

    一种基于动态代码生成的图计算方法及系统

    公开(公告)号:CN110287378A

    公开(公告)日:2019-09-27

    申请号:CN201910441015.4

    申请日:2019-05-24

    Abstract: 本发明提出一种基于动态代码生成的图计算方法及系统,包括:根据建图请求,构造包含图操作原语的中间图结构,并将中间图结构与图名关联后存入中间图缓存器;根据图算法请求,生成由外部代码字节码构成的图算法结构,发送至图算法缓存器;以执行请求检索中间图缓存器和图算法缓存器,得到待执行中间图结构、待执行图算法结构与参数列表组成的三元组,并在本地代码缓存器中检索三元组,得到本地代码缓存器中的执行对象,以执行得到结果。本发明在本地代码空间中注入生成代码,消除了数据交换的开销;构建了可二次编译的中间图结构,使图数据的访问代码可进行编译优化;同时增加了中间图结构缓存与图算法缓存,规避了图计算的预处理开销。

    一种多协议数据分类识别的方法和系统

    公开(公告)号:CN101605126B

    公开(公告)日:2012-02-15

    申请号:CN200810114751.0

    申请日:2008-06-11

    Abstract: 一种多协议分类识别的方法和系统,包括:网络流数据截获装置,用于截取每个网络流连接应用层的负载数据构成输入向量;解析装置,用于利用文本类协议数据高层语义信息将所述输入向量解析成可比较的结点序列集合;比较合并装置,将所述结点序列集合中相似的结点序列合并成一个新的结点序列;归类装置,将所述相似合并后的结点序列集合按协议类别分类;特征提取装置,用于对每一个分类结果的集合进行特征提取操作,所得特征可用于识别出所述输入向量的协议类型。与基于端口方法相比,由于协议特征内容具有较强的稳定性,大量同协议的数据将在相似合并阶段合并在一起,分类结果中信息将更为集中,据此提取的特征更为有效,结果精度更高。

Patent Agency Ranking