一种基于分层对齐数据块的图表示方法

    公开(公告)号:CN118860283A

    公开(公告)日:2024-10-29

    申请号:CN202410889205.3

    申请日:2024-07-04

    Abstract: 本发明提出了一种基于分层对齐数据块的图表示方法,通过分类分层的图存储方法,将大规模图数据中不同大小的顶点数据分类、分层地存储到不同的数据格式中,提升块设备访问图数据的访存效率。同时,本发明还提出了一种分层的对齐图数据块管理方式,将不同大小的顶点数据组织成多层不同大小的对齐图数据块,以提高小顶点的I/O效率,并最小化大顶点的元数据管理开销。

    一种基于交错映射的GCN-ReRAM顶点特征选择性更新方法

    公开(公告)号:CN119397229A

    公开(公告)日:2025-02-07

    申请号:CN202411452287.1

    申请日:2024-10-17

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于交错映射的GCN‑ReRAM顶点特征选择性更新方法。本发明针对利用基于ReRAM的存算一体系统训练图卷积神经网络时,由于度数满足幂律分布的顶点随机分布造成GCN相关写操作的总延迟受限于单位最长写延迟,产生“木桶短板效应”,严重影响加速器性能的问题。本发明考虑了顶点特征的重要性,重要性较高的顶点特征每次反向传播更新,不重要的顶点间隔多次反向传播更新,既减少了Crossbar的写次数,降低了其写延迟,又提高了Crossbar的使用寿命,同时,本方法采用的交错映射方式能够保证每个Crossbar的更新时间一致,防止个别Crossbar更新时间过长降低系统的整体性能。

    基于强化学习的跨域云平台神经网络训练任务调度方法

    公开(公告)号:CN118550667A

    公开(公告)日:2024-08-27

    申请号:CN202410697867.0

    申请日:2024-05-31

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于强化学习的跨域云平台神经网络训练任务调度方法,该方法首先实时获取用户提交的神经网络训练任务并收集训练信息,然后进行计算量预估和进行模型的训练时间的预测,然后根据预测所得的训练时间来强化学习训练获得调度方案,并基于调度方案对用户提交的神经网络训练任务进行调度分配至对应云平台。本发明能有效地降低大部分任务的平均完成时间,以及提高集群资源利用率。

    一种基于分层强化学习的聚合式搜索排序方法

    公开(公告)号:CN113609254B

    公开(公告)日:2024-04-05

    申请号:CN202110862739.3

    申请日:2021-07-29

    Applicant: 浙江大学

    Inventor: 张寅 杨璞 何水兵

    Abstract: 本发明公开了一种基于分层强化学习的聚合式搜索排序方法。本发明采用分层强化学习获得的针对聚合式搜索排序问题的排序策略,可以较大地提升页面内容与查询的相关性。本发明包括如下步骤:1)首先从已标注数据中获取查询、搜索结果,得到它们的特征表示;2)构建聚合式搜索排序模拟器;3)利用模拟器训练分层强化学习模型;4)通过分层强化学习方法确定聚合式搜索排序策略,在搜索引擎中进行应用。和现有技术相比,本发明结合了分层强化学习方法,系统地对聚合式搜索排序问题进行建模,针对不同查询的特征选择合适的搜索结果,形成特别的聚合式搜索排序方法,创造性地提升了排序的工作效率和效果。

    一种基于分层强化学习的聚合式搜索排序方法

    公开(公告)号:CN113609254A

    公开(公告)日:2021-11-05

    申请号:CN202110862739.3

    申请日:2021-07-29

    Applicant: 浙江大学

    Inventor: 张寅 杨璞 何水兵

    Abstract: 本发明公开了一种基于分层强化学习的聚合式搜索排序方法。本发明采用分层强化学习获得的针对聚合式搜索排序问题的排序策略,可以较大地提升页面内容与查询的相关性。本发明包括如下步骤:1)首先从已标注数据中获取查询、搜索结果,得到它们的特征表示;2)构建聚合式搜索排序模拟器;3)利用模拟器训练分层强化学习模型;4)通过分层强化学习方法确定聚合式搜索排序策略,在搜索引擎中进行应用。和现有技术相比,本发明结合了分层强化学习方法,系统地对聚合式搜索排序问题进行建模,针对不同查询的特征选择合适的搜索结果,形成特别的聚合式搜索排序方法,创造性地提升了排序的工作效率和效果。

    一种数据快速读取方法、装置、电子设备及存储介质

    公开(公告)号:CN112597113B

    公开(公告)日:2021-06-01

    申请号:CN202110246172.7

    申请日:2021-03-05

    Abstract: 本发明公开了一种数据快速读取方法、装置、电子设备及存储介质,该方法包括:将数据集划分成若干份图片子集,对每个图片子集进行归一化处理,并分别聚合为一个文件;给数据集中的每个图片分配一个请求编号;通过继承深度学习平台的数据集抽象类,根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息,从而获得每张图片到该图片所属文件的映射;根据所述映射,快速读取数据集中的所有图片。将每个所述图片子集聚合为一个文件,减少了海量小样本元数据管理的开销,优化了数据集的组织形式,极大地提升了图片的读取速度;图片读取时通过多级地址映射,取代了原本低效的海量图片中随机查找的过程,极大地提升了读取速率。

    基于持久性内存的键值对存储系统及数据并发插入方法

    公开(公告)号:CN112612803A

    公开(公告)日:2021-04-06

    申请号:CN202011527095.4

    申请日:2020-12-22

    Applicant: 浙江大学

    Inventor: 何水兵 李振鑫

    Abstract: 本发明提出一种基于持久性内存的键值对存储系统,系统中的每个结点包含键值对数组和两个初始化值相同的bitmap,分别表示为commitBM和shadowBM,其中,所述shadowBM用于插入线程获取键值对数组的写入空位;所述commitBM用于键值对写入后更新,保持一致性。本发明还提供了相应的数据并发插入方法,可以解决键值对存储系统多线程模式下使用锁机制带来的性能问题。该方案采用无锁技术CAS(compare and swap)对临界数据进行修改,使用位图(bitmap)来标识有效的键值对,从而实现无锁条件下的并发插入操作,减少线程间的冲突等待开销,提高整个键值对存储系统的性能。

    一种数据快速读取方法、装置、电子设备及存储介质

    公开(公告)号:CN112597113A

    公开(公告)日:2021-04-02

    申请号:CN202110246172.7

    申请日:2021-03-05

    Abstract: 本发明公开了一种数据快速读取方法、装置、电子设备及存储介质,该方法包括:将数据集划分成若干份图片子集,对每个图片子集进行归一化处理,并分别聚合为一个文件;给数据集中的每个图片分配一个请求编号;通过继承深度学习平台的数据集抽象类,根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息,从而获得每张图片到该图片所属文件的映射;根据所述映射,快速读取数据集中的所有图片。将每个所述图片子集聚合为一个文件,减少了海量小样本元数据管理的开销,优化了数据集的组织形式,极大地提升了图片的读取速度;图片读取时通过多级地址映射,取代了原本低效的海量图片中随机查找的过程,极大地提升了读取速率。

Patent Agency Ranking