-
公开(公告)号:CN113779317A
公开(公告)日:2021-12-10
申请号:CN202110552598.5
申请日:2021-05-20
Applicant: 深圳市腾讯计算机系统有限公司 , 北京大学
IPC: G06F16/901 , G06F16/906 , G06Q40/04 , G06Q50/00
Abstract: 本申请公开一种信息预测方法、装置、存储介质及计算机设备;本申请与人工智能的机器学习领域、以及数据的存储和读取等领域相关,本申请可以获取目标图结构的结构表征数据,目标图结构包括多个节点,结构表征数据表征目标图结构的多个节点;根据结构表征数据,生成目标图结构的每个节点的多个节点数据;对每个节点的多个节点数据进行聚合处理,得到目标图结构的映射数据;基于映射数据,对目标图结构的属性信息进行预测,得到预测结果;本申请可以有效节约计算机设备资源。
-
公开(公告)号:CN109213592A
公开(公告)日:2019-01-15
申请号:CN201710533444.5
申请日:2017-07-03
Applicant: 北京大学
IPC: G06F9/50
CPC classification number: G06F9/5061
Abstract: 本发明提供一种基于自动选择副本因子模型的图计算方法,其步骤为:将图数据切分得到若干个切片;根据自动选择副本因子模型为上述每个切片选择最优的副本因子Ri,其中所述副本因子Ri是指为第i个切片Si选择的副本个数;初始化上述每个切片的所有节点值,计算每个切片的每一条边,并根据上述每个切片的副本因子Ri将计算得到的目标节点的副本值存放在Ri个副本中;合并上述每一条边的Ri个副本的目标节点的副本值,并将合并后得到的目标节点的更新值更新至GlobalVertices数组;其中所述GlobalVertices数组用于存放图数据的所有节点值。该方法不仅解决了计算资源被浪费的问题,而且提高了图计算系统的速度。
-
公开(公告)号:CN103294799B
公开(公告)日:2016-12-28
申请号:CN201310201372.6
申请日:2013-05-27
Applicant: 北京大学
Abstract: 本发明涉及一种数据并行批量导入只读查询系统的方法及系统,系统由协调器,Hadoop驱动程序模块与线上查询系统驱动模块组成,方法为:1)接收原始特征数据请求,并转发到Hadoop进行处理;2)根据节点映射规则在Hadoop上建立Map/Reduce任务并在每个reducer任务节点上生成特征数据的数据块;3)将数据块放置到Hadoop对应节点上,并通过只读查询系统并行读取对应节点上的数据块。本发明利用Hadoop的并行框架处理特征数据,避免线下系统导回线上系统过程中的索引计算和副本计算对线上系统计算资源的消耗。同时将Hadoop形成的数据块,在后台并行异步的读取到线上系统上,减少对线上系统影响。
-
公开(公告)号:CN102143025B
公开(公告)日:2013-05-15
申请号:CN201110074267.1
申请日:2011-03-25
Applicant: 北京大学
Abstract: 本发明公开了一种云下载服务质量的预测方法,属于云计算领域。本方法为:1)云下载请求节点向云下载服务器发送下载请求信息;2)云下载服务器提取云下载系统中请求文件所对应的每一副本历史行为数据;3)计算相应副本在未来时间t内期望累积在线时长Ri(t);4)根据所有副本的Ri(t),得到该文件在时间t内的期望累积在线时长U(t);5)根据该文件的大小f和平均上传速度u,反解U(t)得到该文件云下载所需的期望时间T;6)如果T大于设定的超时阈值T0,则云下载服务器预测此云下载失败;否则,预测云下载成功,并且返回完成下载的持续时间T。本发明预测精度高、有效增强用户对服务质量的感知,且实施代价小。
-
公开(公告)号:CN101192924B
公开(公告)日:2011-01-26
申请号:CN200610145311.2
申请日:2006-11-24
Applicant: 北京大学
Abstract: 一种基于点对点存储系统编码方法,包括下列加密步骤:1)根据用户输入的密钥key和用户要求的冗余度r,产生加密矩阵G;2)通过矩阵G把原始数据编码成r×m个加密数据碎片;3)对碎片命名,使不同的碎片具有独立的名字,分发到点对点存储系统中;和下列解密步骤:4)当用户要想读取自己的数据,重新生成数据碎片的名字,根据碎片名从点对点存储系统收集m个碎片;5)根据密钥key构造出与加密矩阵G相对应的解密矩阵D-1,就可以解密得到原数据。本发明结合了P2P存储系统的特征和底层协议,能够同时保证数据的安全性和可靠性,解决了现有技术方案在P2P存储系统应用中的不足。
-
公开(公告)号:CN110929627B
公开(公告)日:2021-12-28
申请号:CN201911126284.8
申请日:2019-11-18
Applicant: 北京大学
Abstract: 本发明公布了一种基于宽模型稀疏数据集的高效GPU训练模型的图像识别方法,将图像的像素转换为向量,再对向量进行训练归类;通过建立机器学习训练方法CuWide,CuWide采用了复制策略、重要性缓存、面向列的存储和多流技术的流管道,利用GPU并使用大量稀疏数据集高效地训练图像识别预测宽模型,将图像识别预测宽模型在GPU上部署、训练,本发明方法在训练大规模的宽模型方面性能优异,可大大提高图像识别的效率。
-
公开(公告)号:CN101350731B
公开(公告)日:2011-06-08
申请号:CN200710119156.1
申请日:2007-07-17
Applicant: 北京大学
Abstract: 本发明提出了一种基于概率的增量的节点永久离开判别方法,即周期性地对分布式存储系统中的节点给出永久离线的概率,并且使得从系统开始以来对节点永久离线的判断的累积的概率和真实系统中节点永久离开的概率相同。该方法并不追求对分布式存储系统中各个节点状态的精确判断,而是使对节点永久离开判断的误判率和漏判率相等,通过抵消误判和漏判的效果,从而对当前仍然存在的副本数给出较为准确的判断,进而达到维护分布式系统中数据副本数的目标。利用该方法可以在没有人工配置参数的情况下实时地维护分布式存储系统中数据的副本数,避免时间阈值法误判率和漏判率此消彼长的矛盾,能够有效地维护分布式存储系统中数据的可用性和持久性。
-
公开(公告)号:CN109213592B
公开(公告)日:2023-07-18
申请号:CN201710533444.5
申请日:2017-07-03
Applicant: 北京大学
IPC: G06F9/50
Abstract: 本发明提供一种基于自动选择副本因子模型的图计算方法,其步骤为:将图数据切分得到若干个切片;根据自动选择副本因子模型为上述每个切片选择最优的副本因子Ri,其中所述副本因子Ri是指为第i个切片Si选择的副本个数;初始化上述每个切片的所有节点值,计算每个切片的每一条边,并根据上述每个切片的副本因子Ri将计算得到的目标节点的副本值存放在Ri个副本中;合并上述每一条边的Ri个副本的目标节点的副本值,并将合并后得到的目标节点的更新值更新至GlobalVertices数组;其中所述GlobalVertices数组用于存放图数据的所有节点值。该方法不仅解决了计算资源被浪费的问题,而且提高了图计算系统的速度。
-
公开(公告)号:CN107025099B
公开(公告)日:2019-12-27
申请号:CN201610069106.6
申请日:2016-02-01
Applicant: 北京大学
IPC: G06F8/20
Abstract: 本发明公开了一种基于双队列模型的异步图计算实现方法及系统。本方法首先在图系统中设置的编程接口描述将要在图系统上运行的图算法;在每个计算节点中设置一消息队列,用来存储对图顶点进行计算状态过程的消息,一激活顶点队列,用来存储即将进行产生消息过程的图顶点序号;然后在图计算过程中,计算节点持续并同时地进行两种操作:一、计算节点从消息队列中取出一消息,然后令该消息的目标图顶点进行一次计算状态过程,如果顶点进入激活状态,则将其序号加入激活顶点队列中;二、计算节点从其激活顶点队列中取出一图顶点序号,令对应的图顶点进行一次产生消息过程,并将产生的消息加入该消息的目标图顶点所在计算节点的消息队列中。
-
公开(公告)号:CN103885856B
公开(公告)日:2017-01-25
申请号:CN201410085478.9
申请日:2014-03-10
Applicant: 北京大学
IPC: G06F11/14
Abstract: 本发明涉及一种基于消息再生机制的图计算容错方法及系统。该方法在图计算过程中,对于图结构数据保存相邻两个快照之间图结构的变化信息,对于消息数据保存顶点值集合;当出现失效时,利用保存的所述图结构的变化信息和所述顶点值集合,将图计算系统恢复到之前有效的快照对应的超步(Superstep),然后开始下一超步的计算。该系统包括一个控制节点、多个计算节点和分布式文件系统。为了能够更好地适应图计算系统的失效情况,本发明能够实现快照数据的轻量化,大大缩短快照的生成和恢复时间,提高图计算系统的容错能力。
-
-
-
-
-
-
-
-
-