针对分布式学习的通信压缩方法以及相关设备

    公开(公告)号:CN116032431B

    公开(公告)日:2023-09-12

    申请号:CN202310125280.8

    申请日:2023-02-06

    Abstract: 本申请实施例公开了针对分布式学习的通信压缩方法以及相关设备,用于提升通信效率。本申请实施例方法包括:将目标神经网络中每层的参数划分为至少一个备选参数块,其中每层对应的多个备选参数块中每个备选参数块包含的备选参数对应的相对位置索引相同;从每层对应的多个备选参数块中选择至少一个参数块,确定为每层对应的目标参数块;基于每层对应的目标参数块,确定每层对应的待同步参数块,其中待同步参数块与目标参数块一一对应,每层对应的待同步参数块的第一范数的期望值、与所述每层对应的备选参数块的第一范数的期望值相同;将每层对应的待同步参数块以及每层对应的位置索引发送至聚合装置。

    一种数据同步的方法、客户端、服务端及系统

    公开(公告)号:CN111125258B

    公开(公告)日:2023-03-28

    申请号:CN201911370675.4

    申请日:2019-12-26

    Abstract: 本发明实施例提供了一种数据同步的方法、客户端、服务端及系统,用于基于内容可变长度分块对客户端和服务端中需要同步的第一数据和第二数据进行分块,从而使得对第一数据和第二数据的分块只有在插入数据块的少量数据块处发生变动,而其他数据块则不受影响。本发明实施例方法包括:确定预设长度为M的滑动窗口;利用滑动窗口依次遍历客户端中需要同步的第一数据,并在执行遍历时,计算每个滑动窗口中字符的哈希值F;当被遍历的第一数据满足第一条件时,将所述滑动窗口所处的位置定义为数据分块点,以将所述第一数据划分为多个数据块,其中,所述第一条件为:所述F mod D=r,所述D表示所述数据块的预期长度,所述r为小于D的任意自然数。

    垃圾回收方法、计算机设备及计算机存储介质

    公开(公告)号:CN115292208A

    公开(公告)日:2022-11-04

    申请号:CN202210944094.2

    申请日:2022-08-05

    Abstract: 本申请实施例公开了一种垃圾回收方法、计算机设备及计算机存储介质。通过建立文件关系图来表示各文件之间对数据块的共享和引用的情况,进而根据文件关系图来确定待删除文件中被其他文件共享和引用的目标数据块,进而保留目标数据块以及将待删除文件的多个数据块中除了目标数据块之外的数据块清除。因此,可快速确定待删除文件中需要保留的数据块以及需要被删除的数据块,提升了垃圾回收和清理的处理效率,加速垃圾数据的清理工作,并且可减少内存资源的消耗。

    一种基于博弈残局在线解算的多人非完备信息机器博弈方法、装置、系统及存储介质

    公开(公告)号:CN110404265B

    公开(公告)日:2022-11-01

    申请号:CN201910676451.X

    申请日:2019-07-25

    Abstract: 本发明提供了一种基于博弈残局在线解算的多人非完备信息机器博弈方法、装置、系统及存储介质,该多人非完备信息机器博弈方法包括:步骤1:首先根据卡牌抽象算法进行实时的卡牌抽象;步骤2:如果S不是智能体采取动作的博弈局面,则需要更新各个玩家的策略σ;步骤3:等待当前博弈局面需要采取动作的玩家采取某一动作后,游戏往下进行,如果S是轮到智能体采取动作的博弈局面则同样先更新玩家手牌分布,建立子博弈树后计算当前博弈局面的策略σ,然后智能体根据σ采取一个动作a后游戏继续向下进行。本发明的有益效果是:本发明相比之前的算法灵活性适用性更强,适用于现实世界的博弈场景,可以根据针对不同的现实博弈局面计算相应的策略。

    一种基于统一采样的快速相似数据检测方法

    公开(公告)号:CN110083743B

    公开(公告)日:2021-11-16

    申请号:CN201910243356.0

    申请日:2019-03-28

    Inventor: 夏文 王轩

    Abstract: 本发明提供了一种基于统一采样的快速相似数据检测方法,包括以下步骤:A、基于滑动窗口算法快速计算哈希集合;B、对计算得出的哈希集合进行快速统一采样;C基于采样后的哈希集合,再提取相似性特征值和超级特征值用于相似性匹配查找。本发明的有益效果是:在保持原有的相似性检测效率的前提下,通过快速滑动哈希计算,以及通过统一采样方法大幅度地减少了需要线性变换的指纹数量,从而简化了后面的提取特征值和超级特征值的计算,最终大幅度提升相似数据检测速度,以实现面向大规模存储系统的快速高效的相似数据检测效果。

    一种数据存储方法、装置、电子设备及可读存储介质

    公开(公告)号:CN113076068A

    公开(公告)日:2021-07-06

    申请号:CN202110460957.4

    申请日:2021-04-27

    Abstract: 本申请公开了一种数据存储方法、装置、电子设备及计算机可读存储介质,该方法包括:获取并拆分目标数据,得到多个目标数据块;判断目标数据块中是否存在已经被存储的重复数据块;若存在重复数据块,则将各个重复数据块分别从源数据容器迁移至若干个第一新增容器中存储,并将目标数据块中的非重复数据块存入第二新增容器;若不存在重复数据块,则将目标数据块存入第三新增容器;建立新增容器与目标数据之间的目标容器对应关系;该方法在进行数据存储时,将各个数据块按照其生命周期进行排列;在进行数据读取时,可以只读出需要的数据块而不附带任何其他数据,避免出现读放大现象,提高了数据读取速度。

    一种基于多特征融合的新闻推荐方法及装置

    公开(公告)号:CN112182351A

    公开(公告)日:2021-01-05

    申请号:CN202011042260.7

    申请日:2020-09-28

    Abstract: 本申请公开了一种基于多特征融合的新闻推荐方法,该方法包括:在达到向目标用户进行新闻推荐的触发条件时,获得待推荐新闻集合中每条待推荐新闻的多特征向量;确定目标用户的用户画像;基于用户画像与待推荐新闻集合中每条待推荐新闻的主题特征向量,确定第一推荐结果;基于目标用户的当前浏览新闻与待推荐新闻集合中每条待推荐新闻的关键词向量、标题与摘要特征向量,确定第二推荐结果;根据第一推荐结果和第二推荐结果,确定最终推荐结果,并推荐给目标用户。应用本申请所提供的技术方案,推荐给用户的新闻更符合用户的兴趣,更有针对性,提升了用户的浏览体验。本申请还公开了一种基于多特征融合的新闻推荐装置,具有相应技术效果。

    一种数据同步的方法、客户端、服务端及系统

    公开(公告)号:CN111125258A

    公开(公告)日:2020-05-08

    申请号:CN201911370675.4

    申请日:2019-12-26

    Abstract: 本发明实施例提供了一种数据同步的方法、客户端、服务端及系统,用于基于内容可变长度分块对客户端和服务端中需要同步的第一数据和第二数据进行分块,从而使得对第一数据和第二数据的分块只有在插入数据块的少量数据块处发生变动,而其他数据块则不受影响。本发明实施例方法包括:确定预设长度为M的滑动窗口;利用滑动窗口依次遍历客户端中需要同步的第一数据,并在执行遍历时,计算每个滑动窗口中字符的哈希值F;当被遍历的第一数据满足第一条件时,将所述滑动窗口所处的位置定义为数据分块点,以将所述第一数据划分为多个数据块,其中,所述第一条件为:所述F mod D=r,所述D表示所述数据块的预期长度,所述r为小于D的任意自然数。

    一种基于自监督的跨模态深度哈希检索方法

    公开(公告)号:CN110309331A

    公开(公告)日:2019-10-08

    申请号:CN201910599265.0

    申请日:2019-07-04

    Abstract: 本发明专利涉及一种基于自监督的跨模态联合哈希检索方法,该方法包括以下步骤:步骤1:针对图像模态数据进行处理:采用深度卷积神经网络对图像模态的数据进行特征提取,对图片数据进行哈希学习,将深度卷积神经网络的最后一层全连接层的节点个数设置为哈希码的长度;步骤2:针对文本模态数据进行处理:使用词袋模型对文本数据进行建模,建立一个两层的全连接神经网络对文本模态的数据进行特征提取,神经网络的输入是使用词袋模型表示的词向量,第一个全连接层节点的数据与第二个全连接层节点的数据与哈希码的长度相同;步骤3:针对类别标签处理的神经网络:采用自监督的训练方式从标签数据中提取语义特征;步骤4:最小化图像与文本网络所提取的特征与标签网络的语义特征间的距离,使得图像与文本网络的哈希模型能够更充分学习不同模态间的语义特征。

Patent Agency Ranking