-
公开(公告)号:CN116204324A
公开(公告)日:2023-06-02
申请号:CN202310345473.4
申请日:2023-03-29
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务执行的方法、装置、存储介质及电子设备。所述任务执行的方法包括:确定目标模型中的每个网络层对应的计算任务各计算设备对应的设备信息,针对每个网络层,根据执行该网络层对应计算任务时涉及的计算次数以及各计算设备的设备信息,确定通过各计算设备执行该网络层对应计算任务时所需的计算时长,根据计算时长、上一个网络层对应的计算设备与其他各计算设备之间的数据传输时长、该网络层的数据所需的内存空间以及各计算设备的剩余内存中的至少一种,确定该网络层对应的目标设备,在接收到各网络层对应计算任务的执行请求后通过各网络层对应的目标设备执行计算任务。
-
-
公开(公告)号:CN116069512A
公开(公告)日:2023-05-05
申请号:CN202310286991.3
申请日:2023-03-23
Applicant: 之江实验室
Abstract: 本发明提公开了一种基于强化学习的Serverless高效资源分配方法及系统,该方法是通过对尾延迟、决策频率以及资源效率关系的观察,在最小化无服务器系统的资源配置消耗的同时,保障设置的性能延迟目标。该方法充分利用高频率管理带来的资源高效管理优点,通过观察每个请求的状态,利用强化学习模型对处理请求的实例资源配置做出决策。针对函数工作流多阶段运行的特性并对决策模型的轻量化设计,使得高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比较,提升了CPU利用率,并提供了99%的请求时延SLO(Service Level Objective,服务水平目标)保证,降低了端到端延迟方差。
-
公开(公告)号:CN115982403A
公开(公告)日:2023-04-18
申请号:CN202310085564.9
申请日:2023-01-12
Applicant: 之江实验室
IPC: G06F16/583 , G06F16/55 , G06F16/51 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/09
Abstract: 本发明公开了一种多模态哈希检索方法及装置,该方法包括:获取带有标签的训练数据集;构建带有Transformer Encoder模块的多模态神经网络;根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签,设计目标损失函数;根据所述目标损失函数,采用梯度下降法更新所述多模态神经网络的参数,以训练所述多模态神经网络;获取多模态原始数据并对所述多模态原始数据进行特征工程加工;将加工后的多模态原始数据输入训练后的多模态神经网络中,生成多模态哈希码;利用所述多模态哈希码,进行哈希检索。该方法使用Transformer网络实现多模态特征融合,与单模态哈希表示学习相比,检索的平均准确率(mAP)更高。
-
公开(公告)号:CN115268877A
公开(公告)日:2022-11-01
申请号:CN202211177798.8
申请日:2022-09-27
Applicant: 之江实验室
Abstract: 本发明公开了一种用于图计算并行执行的中间表示方法及装置,包括以下步骤:步骤S1:将神经网络编译为计算图;步骤S2:定义计算图中张量变量的分支状态;步骤S3:定义计算图中张量变量的数据依赖关系;步骤S4:定义计算图中张量变量的控制依赖关系;步骤S5:构建计算图中张量变量的数据依赖关系图;步骤S6:构建计算图中张量变量的控制依赖关系图;步骤S7:将控制依赖转换为数据依赖。本发明从全局角度分析计算图执行过程中计算图中不同分支线程的张量变量之间的依赖关系以及基于依赖关系推导全局计算图中可并行执行分支线程的并行计算方法,通过分析计算图执行过程中不同分支线程的张量变量之间的依赖关系,优化计算图的编译效率。
-
公开(公告)号:CN113835868B
公开(公告)日:2022-04-15
申请号:CN202111412833.5
申请日:2021-11-25
Applicant: 之江实验室
Abstract: 本发明提供一种基于反馈和公平队列的服务质量感知的缓存调度方法,采用服务质量衡量策略将不同类似的应用的服务质量指标化,使用开始时间公平列队设置不同的开始服务时间来控制不同应用请求的服务顺序,利用基于反馈的缓存分区管理模块将所有逻辑分区划分为两种类型:提供分区和接收分区,并且调整两种类型逻辑分区之间的缓存分配,通过缓存块分配管理模块平衡整体性能和保证服务质量,以及缓存淘汰策略监控模块监控每个逻辑分区的当前缓存淘汰策略效率,并根据应用的负载特征变化进行动态调整,使用缓存压缩监控模块捕获局部性较差的应用,即存在缓存命中率长尾现象的应用。本发明能够兼顾缓存整体效率和应用之间的服务质量保证。
-
公开(公告)号:CN112015673B
公开(公告)日:2021-03-16
申请号:CN202011137494.X
申请日:2020-10-22
IPC: G06F12/02
Abstract: 本发明涉及计算机内存计算领域,具体涉及一种基于混合存储的存内计算方法与装置,该方法包括:首先通过混合存储区将数据进行混合存储,然后利用数据转存区通过字线驱动器和控制器对某一指定行的数据进行移位操作,最后基于混合存储和移位操作进行数据的乘法计算。本发明结合非易失存储与内存计算,一方面计算数据以纳秒级的速度从非易失器件中获得,特别是对于深度神经网络推理这种场景,可将模型参数事先存放于非易失存储区,计算时能减少了数据访问的时间,提高了系统性能;另一方面通过改进电路操作流程,减少了不必要的数据搬移时间,使得移位时间也能缩短至纳秒级别,提升了对于乘法计算这种有大量移位操作的计算效率,提高了系统性能。
-
公开(公告)号:CN112232528B
公开(公告)日:2021-03-09
申请号:CN202011473442.X
申请日:2020-12-15
Applicant: 之江实验室
Abstract: 本发明公开了一种联邦学习模型训练方法、装置及联邦学习系统,边缘计算服务器和端设备接收云端联邦学习子系统形成的全局机器学习模型信息;一个边缘计算服务器与一个以上的端设备利用网络局部性的优势形成区域,端设备依靠本地数据并采用截断的方式完成模型本地训练,边缘计算服务器负责所辖区域内端设备的多轮更新并向云端联邦学习子系统发送更新后的模型信息;边缘计算服务器也采用截断的方式完成模型本地训练,云端联邦学习子系统负责多个边缘计算服务器的梯度更新;在训练到达收敛期,分别对边缘计算服务器所辖区域内端设备和云端联邦学习子系统负责的多个边缘计算服务器实施截断节点的补偿,形成全局机器学习模型信息。
-
公开(公告)号:CN112395213A
公开(公告)日:2021-02-23
申请号:CN202011296272.2
申请日:2020-11-18
IPC: G06F12/02
Abstract: 本发明公开了一种基于内存面向热点数据的ACEH索引结构及方法,结构包括:目录项、段和数据桶;方法包括:目录项通过全局深度G进行段索引,一个段对应一组数据桶,段通过局部深度L进行数据桶索引,L=G‑log2k,k表示指向该数据桶的指针数,所述数据桶索引采用Adjusted‑Cuckoo算法定位哈希键插入的数据桶,Adjusted‑Cuckoo算法包含两个哈希函数,产生两个可插入的数据桶,然后选择空余的数据桶进行插入,Adjusted‑Cuckoo算法确定一个数据桶,第二个数据桶则直接确定为当前数据桶的下一个数据桶,操作方法包括如下步骤:步骤一,插入操作;步骤二,刷新操作;步骤三,分裂操作;步骤四,删除操作。
-
-
-
-
-
-
-
-