-
公开(公告)号:CN118642661B
公开(公告)日:2024-11-08
申请号:CN202411092481.3
申请日:2024-08-09
申请人: 之江实验室
摘要: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置,其方法包括:使用细粒度的缓存数据布局方法,充分利用下一周期的随机访问序列指导数据在缓存节点的布局,然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点,并将每个训练进程的数据摄取请求动态调度到目标缓存节点,使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的,从而保证每个缓存节点上的存储、网络等资源都能充分利用,当模型训练任务提升数据载入的并发度时,缓存数据摄取的并发度也相应提升,显著加快模型训练任务摄取数据的速度。
-
公开(公告)号:CN117370679B
公开(公告)日:2024-03-26
申请号:CN202311656866.3
申请日:2023-12-06
申请人: 之江实验室
IPC分类号: G06F16/9536 , G06F16/583 , G06F16/55 , G06F16/33 , G06F16/35 , G06F18/213 , G06F18/25 , G06F18/24 , G06F18/27 , G06N3/0455 , G06N3/048 , G06N3/08 , G06Q50/00
摘要: 本发明公开了一种多模态双向蕴含社交网络虚假消息验证的方法及装置,通过图片和文本编码器对原始图片‑文本对进行特征提取,根据其蕴含关系构建对比学习;通过图片和文本编码器提取图片‑文本对所对应的特征;使用回归编码器对特征进行回归转换,对转换后得到的特征构建对比学习过程,使转换后的图片特征、文本特征分别回归到原始图片特征空间、原始文本特征空间内;通过训练好的编码器提取社交网络虚假消息中的图片‑文本对特征;将提取到的特征进行拼接和融合,随后经过分类函数得到虚假消息分类检测结果。通过本发明能充分挖掘两个模态数据之间的互补和蕴含信息,弥补单个模态信息表征不强的缺点,进而提高对社交网络信息的验证检测能力。
-
公开(公告)号:CN118394607B
公开(公告)日:2024-09-03
申请号:CN202410849946.9
申请日:2024-06-27
申请人: 之江实验室
摘要: 本说明书公开了一种计算集群温度告警方法、装置、存储介质及电子设备,包括:获取各服务器的核心芯片的硬件温度,将各硬件温度输入各服务器对应的预先训练的服务器告警模型,确定各服务器分别对应的第一状态。确定通过各传感器采集到的环境温度,并将各第一状态和各环境温度输入预先训练的集群告警模型,确定计算集群对应的告警状态,并根据告警状态,对计算集群进行温度告警。通过具有可解释性的多规则的服务器告警模型,自动化判断服务器的状态,以及通过具有可解释性的多规则的集群告警模型,自动化判断计算集群的告警状态,从而自动化对计算集群的温度进行监测,以避免计算集群的温度出现异常,以防硬件受损或系统崩溃。
-
公开(公告)号:CN117372713A
公开(公告)日:2024-01-09
申请号:CN202311286450.7
申请日:2023-10-08
申请人: 之江实验室
IPC分类号: G06V10/44 , G06V10/25 , G06V20/64 , G06N3/0495 , G06N3/0464 , G06N3/082
摘要: 本发明公开了一种基于通道剪枝的单目三维目标检测方法及装置,该方法是通过预处理将三维雷达点云数据编码到BEV图中作为输入,利用卷积神经网络模型进行特征提取及目标检测,并采用通道剪枝方案大幅减少模型参数和计算量,从而实现模型的精简、推理速度的提高及检测性能的优化。此外,本发明所提出的方法还保持了原有三维目标检测模型的准确性和稳定性,并适用于单目三维目标检测任务。该发明在自动驾驶、智能机器人、视频监控等领域具有广泛应用前景。
-
公开(公告)号:CN118627020A
公开(公告)日:2024-09-10
申请号:CN202411110491.5
申请日:2024-08-14
申请人: 之江实验室
IPC分类号: G06F18/25 , G06N3/0895 , G06N3/09 , G06N3/0455
摘要: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法,基于对比学习的多模态网络,通过利用结构化信息构造的正负样本数据,充分挖掘模态特征之间的对应关系,基于对应关系,注入结构化信息增强模态特征的融合;本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理,获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征,结构知识特征注入到文本特征中后,在对比学习模块中与文本正样本和图片数据一起进行特征对齐,基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化,极大地提升了模型的多模态理解能力。
-
公开(公告)号:CN118394607A
公开(公告)日:2024-07-26
申请号:CN202410849946.9
申请日:2024-06-27
申请人: 之江实验室
摘要: 本说明书公开了一种计算集群温度告警方法、装置、存储介质及电子设备,包括:获取各服务器的核心芯片的硬件温度,将各硬件温度输入各服务器对应的预先训练的服务器告警模型,确定各服务器分别对应的第一状态。确定通过各传感器采集到的环境温度,并将各第一状态和各环境温度输入预先训练的集群告警模型,确定计算集群对应的告警状态,并根据告警状态,对计算集群进行温度告警。通过具有可解释性的多规则的服务器告警模型,自动化判断服务器的状态,以及通过具有可解释性的多规则的集群告警模型,自动化判断计算集群的告警状态,从而自动化对计算集群的温度进行监测,以避免计算集群的温度出现异常,以防硬件受损或系统崩溃。
-
公开(公告)号:CN118035427B
公开(公告)日:2024-07-23
申请号:CN202410448201.1
申请日:2024-04-15
申请人: 之江实验室
IPC分类号: G06F16/332 , G06F16/38 , G06F16/532 , G06F16/583 , G06F40/126 , G06F40/289 , G06V10/44 , G06V10/74 , G06N3/045
摘要: 本发明公开了一种通过3D对比学习增强多模态图文检索的方法及装置,基于3D对比学习的多模态网络,通过属性信息监督模态特征之间的交互,充分挖掘模态之间的对应关系,从而能利用模态之间互补的、对齐的信息;在本发明方法中通过对原始数据集中成对的图片、文本对以及对应的属性信息进行特征抽取获得这三个维度的特征,然后送入到3D对比学习模块中,经过充分对比融合、特征对齐,获得视觉模态和文本模态之间的互补信息以及潜在对应关系。本发明通过3D对比学习增强多模态图片文本的检索,能充分利用图片的视觉模态信息、文本模态信息以及它们共享的属性信息这些特征进行联合优化,从而极大地提升了图片文本的检索准确率。
-
公开(公告)号:CN116880994B
公开(公告)日:2023-12-12
申请号:CN202311151854.5
申请日:2023-09-07
申请人: 之江实验室
摘要: 本发明公开了一种基于动态DAG的多处理器任务调度方法、装置及设备,该方法包括:根据任务之间的调度依赖关系构建DAG图;统计每一个任务在处理器上运行时间内的能量消耗;统计每一个处理器以最大频率运行时每一个任务节点的可靠性;根据DAG图计算每一个任务节点的出度并根据出度的大小降序排序构建出度队列;根据DAG图计算每一个任务节点的向上排序值并根据排序值降序构建向上排序队列;设定平衡比重参数,遍历并判断向上排序队列中的任务节点在出度队列中的相对位置,使用相关的公式进行任
-
公开(公告)号:CN116880994A
公开(公告)日:2023-10-13
申请号:CN202311151854.5
申请日:2023-09-07
申请人: 之江实验室
摘要: 本发明公开了一种基于动态DAG的多处理器任务调度方法、装置及设备,该方法包括:根据任务之间的调度依赖关系构建DAG图;统计每一个任务在处理器上运行时间内的能量消耗;统计每一个处理器以最大频率运行时每一个任务节点的可靠性;根据DAG图计算每一个任务节点的出度并根据出度的大小降序排序构建出度队列;根据DAG图计算每一个任务节点的向上排序值并根据排序值降序构建向上排序队列;设定平衡比重参数,遍历并判断向上排序队列中的任务节点在出度队列中的相对位置,使用相关的公式进行任务节点的调度分配,直到遍历完节点完成调度分配。通过本发明方法能够在能量损耗、及时性和可靠性上达到较好的平衡,提高任务调度性能。
-
公开(公告)号:CN118627020B
公开(公告)日:2024-10-29
申请号:CN202411110491.5
申请日:2024-08-14
申请人: 之江实验室
IPC分类号: G06F18/25 , G06N3/0895 , G06N3/09 , G06N3/0455
摘要: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法,基于对比学习的多模态网络,通过利用结构化信息构造的正负样本数据,充分挖掘模态特征之间的对应关系,基于对应关系,注入结构化信息增强模态特征的融合;本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理,获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征,结构知识特征注入到文本特征中后,在对比学习模块中与文本正样本和图片数据一起进行特征对齐,基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化,极大地提升了模型的多模态理解能力。
-
-
-
-
-
-
-
-
-